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MATLAB 中 文 论坛 神经 网 络 版 块 有 数 千 个 MATLAB 与 神经 网 络 相 关 的 帖子 。 我 们 对 
这 些 帖 子 进行 了 一- 些 总 结 分 析 , 发 现 一 些 比较 有 趣 的 现象 : 

中 大约 有 20 兴 的 会 员 不 知道 每 一 种 神经 网 络 的 功能 ,不 清楚 该 选用 何 种 神经 网 络 米 做 自 
己 的 课题 。 

加 大 约 有 50%% 的 会 员 会 直接 参考 他 人 已经 写 好 的 代码 ,然而 由 于 数据 性 质 .应 用 背景 等 
的 差异 性 ,会 员 在 修改 现 有 代码 使 之 吏 符合 自己 的 需要 时 肖 到 很 多 麻烦 。 

二 还 有 - 小 部 分 会 员 想 了 解 如 何 让 现 有 的 神经 网 络 与 其 他 方面 的 优化 知 识 结合 起 来 ,使 
神经 网 络 的 表现 更 理想 - 些 , 比 如 神经 网 络 与 遗传 算法 的 结合 等 ,但 在 现 有 很 多 有 关 神 经 网 络 
的 书 上 找 不 到 答案 。 . 

丰 我 们 回答 问 题 的 同时 ,我 们 对 现 有 的 提问 进行 了 分 析 和 和 总结, 尤其 是 会 员 比较 关心 的 以 
上 现象 进行 了 统计 。 为 了 让 更 多 学 习 神经 网 络 的 会 员 能 够 快速 了 解 并 有 在 MATILAB 下 使 用 
神经 网 络 ,MATLAB 中 文 论坛 精心 编写 了 &MATLADH 神经 网 络 30 个 案例 分 析 } 一 上 。 

该 书 含 有 30 个 在 MATILAB 环境 下 实现 的 神经 网 络 案例 ,包括 了 常用 的 神经 网 络 及 相关 
理论 ,如 ;BP、RBF、SVM SOMPSO、Hopficld, Elman, LVQ, Kohonen、 GRNN、 伙 色 神 经 
网 络 .遗传 算法 与 神经 阅 络 的 结合 .广义 神经 网 络 .小 波 神经 网 络 .PID 神经 万 等 知识 。 当 然 ， 
如 果 你 所 需要 的 神经 网 络 超出 本 书记 涉及 的 范畴 , 收 到 你 的 反馈 后 儿 售 作 若 会 第 一 时 间作 论 
坛 “在 线 人 交流" 版 块 为 你 加 上 。 别 忘 了 ,这 是 .本 "会 动 "的 书 1 

企 编写 本 书 的 过 程 中 .我 们 始终 记得 数 干 位 会 员 对 该 书 的 要 求 (希望 这 也 是 你 的 期 待 ) 

案例 实用 性 。 书 中 所 列举 的 30 个 案例 ,部 分 来 自 于 各 大 公司 、 院 校 的 研究 课题 ,部 分 来自 
于 论坛 会 员 的 提问 。 这 些 案例 分 别 代表 了 神经 网 络 在 各 个 领域 的 相关 应 用 。 污 者 可 以 很 容易 
根据 自己 的 课题 需要 , 找 出 书 中 哪些 案例 适合 自己 ,进而 详细 阅读 。 

MATLAB 程序 可 模仿 性 。 我 们 所 编写 的 MATLAB 案例 程序 高 度 模块 化 .不管 是 何 种 
网 络 , 其 基本 电 想 帮 是 输入 (出 数据 的 前 期 处 理 、 模 型 参数 的 设置 ,模型 的 训练 以 及 模型 的 使 
用 。 那 么 ,如 果 读 者 需要 模仿 这 些 程序 ,只 需 更 改 畦 耐 某 些 模块 即 厅 。 

我 们 一 自强 调 - -个 理念 :有 问 必 答 ”| 对 于 神经 网 络 这 来 说 ,包含 太 多 的 抽象 知 
识 。 如 染 在 学 习 、 使 用 神经 网 络 的 时 候 ,能 够 得 色 一 位 或 者 数位 该 领域 专家 的 指导 , 耶 绝 不 仅 
仅 是 学 半 切 借 的 效果 ,我 起 学 习 过 编程 洁 言 的 读者 都 知道 这 个 道理 。 目前 这 本 书 的 几 位 作者 
几乎 每 天 者 在线 为 谈 者 解答 疑问 ,争取 做 到 问题 不 过 夜 。 

对 于 每 个 案例 ,我 们 也 制作 了 配套 的 教学 视频 。 在 书籍 十 视频 十 程序 的 协助 下 ,一 小 时 之 
内 使 用 神经 网 络 实现 自己 的 目标 已 经 不 是 难事 。 套 一 句 比 较 流 行 的 网 络 术 语 ,“ 哥 卖 的 不 是 
书 ,而 是 .种 服务 ”。 

我 们 特别 起 感谢 “你 ”, 因 为 你 经 常 在 MATLAB 中 文 论坛 为 此 尿 出 谋划 策 , 因 为 你 细心 地 
阅读 每 个 案例 .程序 ,然后 指出 需要 改进 的 地 方 ,才能 让 此 书 符合 大 部 分 会 员 的 需求 。( 注 :此 
书 采取 片 放 式 编著 方式 ,MATLAB 中 文 论坛 对 此 书 提供 及 时 的 报道 ,如 :书籍 的 写作 进度 、 书 
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籍 的 程序 案例 等 ,所 以 很 多 读者 是 看 着 这 本 书 如 何 “ 诞 生 " 的 。) 

该 书 适合 所 有 做 与 神经 网 络 相关 研究 的 读者 阅读 ,当然 我 们 的 特长 是 在 MATLAB 下面 
实现 神经 网 络 的 各 种 应 用 。 

史 峰 (网 名 shi0lfg, 超 级 版 主 ) 编 写 了 第 1 一 6、 23~26、28, 29 章 ; 王 小 川 (网 名 hg- 
sz2003 ,超级 版 主 ) 编 号 了 第 7、8、16 一 20、30 章 ; 邦 妖 ( 网 名 yuthreestone, 超 级 版 主 ) 编 写 了 
第 9 ~ 11、21 .22 .27 章 ; 李洋 (网 名 faruto, 超 级 版 主 ) 编 写 了 第 12 一 15 章 ; 张 延 亮 ( 网 名 
math, 论 坛 站 长 ) 负 责 全 部 案例 的 选取 和 审核 ; 焦 小 轨 ( 网 名 mooni, 论 坛 管理 员 ) 负 责 所 有 配套 
视频 下 载 的 测试 与 维护 。 

我 们 深 知 ,神经 网 络 就 是 一 个 巨大 的 黑 盒 子 , 我 们 一 直 在 研究 其 精华 奥妙 所 在 ,如 果 在 我 
们 的 探索 路 上 有 任何 不 当 之 处 ,希望 读者 能 及 时 向 我 们 反馈 。 请 你 相信 ,我 们 的 纠 错 速度 也 会 
超 乎 你 的 想象 ! 

最 后 ,给 大 家 一 个 小 小 的 承诺 :如 果 你 在 阅读 完 该 书 的 一 个 案例 ,或 者 看 完 一 个 视频 以 后 ， 
还 是 不 懂得 如 何在 MATLAB 下 实现 神经 网 络 , 你 可 以 在 MATLAB 中 文 论坛 该 书 “ 在 线 交 
流 ” 版 卖 发 帖 , 论 坛 会 安排 一 位 本 书 的 作者 订 自 指导 你 ,直到 你 得 到 自己 想 要 的 程序 为 下! 


MATLAB 中 文 论 坛 
2009 年 12 月 于 南京 
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第 6 章 PID 神经 元 网 络 解 看 控制 算法 一 多 变量 系统 控制 54 
根据 PID 神经 元 网 络 控制 器 原理 ,在 MATI.AB 中 编程 实现 PID 神经 元 网 络 控制 多 变 醒 

二 合 系统 。 

第 7 章 RBF 网 络 的 回归 一 一 非 线性 沙 数 回归 的 实现 pp 65 
本 例 用 RBF 网 络 拟 合 未 知 函 数 ,预先 设 定 一 个 非 线 性 函数 ,如 式 3 一 20 十 对 一 

10cos(2xx1) 十 共 一 10cos(2rzs) 所 示 , 假 定 函 数 解析 式 不 清楚 的 情况 下 ,随机 产生 ri ,x 和 由 

这 两 个 变量 按 上 式 得 出 的 y。 将 x ,x 作为 RBF 网 络 的 输入 数据 ,将 》 作 为 RBF 网 络 的 输出 

数据 ,分 别 建立 近似 和 精确 RBF 网 络 进行 回 归 分 析 , 并 评价 网 络 拟 合 效 果 。 

第 8 章 GRNN 的 数据 预测 一 一 基于 广义 回归 神经 网 络 的 货运 量 预 测 
根据 货运 量 影响 因素 的 分 析 , 分 别 取 国内 生产 总 值 (GDP) ,工业 总 产值 ,铁路 运输 线路 长 

度 , 复 线 里 程 比 重 , 公 路 运输 线路 长 度 , 等 级 公路 比重 ,铁路 货车 数量 和 民用 载 货 汽车 数量 8 项 

指标 因素 作为 网 络 输入 ,以 货运 总 量 , 铁 路 货运 量 和 公路 货运 量 3 项 指标 因素 作为 网 络 输 出 ， 

构建 GRNN ,由 于 训练 数据 较 少 ,采取 交叉 验证 方法 训练 GRNN 神经 网 络 , 并 用 循环 找 出 最 

住 的 SPREAD。 

第 9 章 离散 Hopfield 神经 网 络 的 联想 记忆 一 数字 识别 Re 8 
报 据 Hopfield 神经 网 络 相关 知识 ,设计 一 个 具有 联想 记忆 功能 的 离散 型 Hopfield 神经 网 
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络 。 要 求 该 网 络 可 以 正确 地 识别 0 一 9 这 10 个 数字 , 当 数 字 被 一 定 的 噪声 干扰 后 , 仍 具 有 较 好 

的 识别 效果 。 

第 岂 章 离散 Hopfield 神经 网 络 的 分 类 一 一 高 校 科 研 能 力 评价 
某 机 构 对 20 所 高 校 的 科研 能 力 进行 了 调研 和 评价 , 试 根据 调研 结果 中 较为 重要 的 11 个 

评价 指标 的 数据 ,并 结合 离散 Ilopfield 神经 网 络 的 联想 记忆 能 力 , 建 立 离散 Hopfield 高 校 科 

研 能 力 评价 模型 。 

第 11 章 连续 Hopfield 神经 网 络 的 优化 一 一 旅行 商 问题 优化 计算 …………………… 100 
现 对 于 一 个 城市 数量 为 10 的 TSP 问题 ,要 求 设计 一 个 可 以 对 其 进行 组 合 优化 的 连续 型 

Hopfield 神经 网 络 模 型 ,利用 该 模型 可 以 快速 池 找 到 最 优 (或 近似 最 优 ) 的 一 条 路 线 

第 12 章 SVM 的 数据 分 类 预测 一 一 意大利 葡萄 酒 种 类 识别 
将 这 178 个 样本 的 50 双 做 为 训练 集 , 另 50 唉 做 为 测试 集 , 用 训练 集 对 SVM 进行 训练 可 

以 得 到 分 类 寞 型 ,再 用 得 到 的 模型 对 测试 集 进行 类 别 标 签 预测 。 

第 13 章 SVM 的 参数 优化 一 一 如 何 更 好 的 提升 分 类 器 的 性 能 122 
本 章 要 解决 的 问题 就 是 仅仅 利用 训练 集 找到 分 类 的 最 佳 参 数 ,不 但 能 够 高 准确 率 的 预测 

训练 集 而 且 要 合理 的 预测 测试 集 ,使 得 测试 集 的 分 类 准确 率 也 维持 在 一 个 较 高 水 平 , 即 使 得 得 

到 的 SVM 分 类 器 的 学 习 能 力 和 推广 能 力 保持 一 个 平衡 ,避免 过 学 习 和 从 学 习 状 况 发 生 。 

第 14 章 SVM 的 回归 预测 分 析 一 一 上 证 指数 开盘 指数 预测 ……………… 133 
对 上 证 指数 从 1990. 12. 20 .2009. 08. 19 每 日 的 开 益 数 进 行 回归 分 析 。 

第 15 章 SVM 的 信息 粒 化 时 序 回 归 预 测 一 一 上 证 指数 开盘 指数 变化 趋势 和 变化 空间 预测 
en 141 


在 这 个 案例 里 面 我 们 将 利用 SVM 对 进行 模 寡 信息 粒 化 后 的 上 证 每 日 的 开盘 指数 进行 变 
化 趋势 和 变化 空间 的 预测 。 
第 16 章 ， 自 组 织 竞争 网 络 在 模式 分 类 中 的 应 用 一 患者 痪 症 发 病 预测 ………………… 153 
未 案例 中 给 出 了 一 个 含有 60 个 个 体 基因 表达 水 平 的 祥 本 。 每 个 样本 中 测量 了 114 个 基 
因 特 征 ,其 中 前 20 个 样本 是 癌症 病人 的 基因 表达 水 平 的 样本 (其 中 还 可 能 有 子 关 )， 中 间 的 20 
个 样本 是 正常 人 的 基因 表达 信息 样本 ,余下 的 20 个 样本 是 社 窒 测 的 样本 (未 知 它们 是 否 正 
常 )。 以 下 将 设法 找 出 冶 症 与 正常 料 本 在 基因 表达 水 平 上 的 区 别 ,建立 竞争 网 络 模型 去 预测 竺 
检测 样本 是 癌症 还 是 正常 祥 本 。 
第 17 章 SOM 神经 网 络 的 数据 分 类 一 一 柴油 机 故障 诊断 a 159 
术 集 例 中 给 出 了 一 个 会 有 8 个 故障 样本 的 数据 集 。 每 个 故障 样本 中 有 8 个 特征 ,分 别 是 
前 面 提 及 过 的 :最 大 压力 (Pi)》、 次 最 大 压力 (P:) ,波形 福 度 (Ps)、 上 升 沿 宽度 (PP,)、 波 形 宽度 
(了 ;) ,最 大 余波 的 宽度 (Ps) .波形 的 面积 (P;) ,起 喷 压 力 (Pa) ,使 用 SOM 网 络 进行 故障 诊断 。 
第 18 章 Elman 神经 网 络 的 数据 预测 一 一 电力 负荷 预测 模型 研究 ……………… 170 
根据 负荷 的 历史 数据 , 选 定 反馈 神经 网 络 的 输入 、 输 出 节点 ,来 反映 电力 系统 负荷 运行 的 
内 在 规律 ,从 而 达到 预测 未 来 时 自负 荷 的 目的 。 
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第 19 章 概率 神经 网 络 的 分 类 预测 一 一 基于 PNN 的 变 压 串 故 障 诊断 ………… 176 
本 案例 在 对 油 中 溶解 气体 分 析 法 进行 深入 分 析 后 ,以 改良 三 比值 法 为 基础 ,建立 基于 概率 

神经 网 络 的 故障 诊断 模型 。 

第 20 章 神经 网 络 变量 第 选 一 基于 BP 的 神经 网络 变量 筛选 ee 183 
本 例 将 结合 BP 神经 网 络 应 用 平均 影响 值 (MIV ,Mean Impact Value) 方 法 来 说 明 如 何 使 

用 神经 网 络 来 筛选 变量 ,找到 对 结果 有 较 大 影响 的 输入 项 ,继而 实现 使 用 神经 网 络 进行 变量 

筛选 。 

第 21 章 LVQ 神经 网 络 的 分 类 -一 乳腺 肿瘤 诊断 
威斯康星 大 学 医学 院 经 过 多 年 的 收集 和 整理 ,建立 了 一 个 和 乳腺 肿瘤 病灶 组 织 的 细胞 核 显 

微 图 像 数 据 库 。 数 据 库 中 包含 了 细胞 核 图 像 的 10 个 量化 特征 (细胞 核 半径 、 质 地 、 周 长 .面积 、 

光滑 性 、 紧 度 ` 四 陷 度 四 陷 点 数 、 对 称 度 . 断 裂 度 ) ,这 些 特 征 与 肿瘤 的 性 质 有 客 切 的 关系 。 

因此 ,需要 建立 一 个 确定 的 模型 来 描述 数据 库 中 各 个 量化 特征 与 肿瘤 性 质 的 关系 ,从 而 可 以 根 

据 细 胞 核 显 给 图 像 的 量化 特征 诊断 乳腺 肿瘤 是 良性 还 是 恶性 。 

第 22 章 LVQ 神经 网 络 的 预测 一 -人 脸 朝向 识别 198 
现 采 集 到 一 组 人 脸 彰 向 不 同 角 度 时 的 图 像 ,图 像 来 自 不 同 的 10 个 人 ,每 人 5 幅 图 像 ,人 脸 

的 朝向 分 别 为 ; 左 方 .左前 方 .前 方 ,右前 方 和 右 方 。 试 创建 一 个 LVQ 神经 网 络 , 对 任意 给 出 

的 人 脸 图 像 进行 朝向 预测 和 识别 。 

第 23 章 小 波 神 经 网 络 的 时 间 序列 预测 一 一 短 时 交通 流量 预测 ee 208 
根据 小 波 神经 网 络 原理 在 MATLAB 环境 中 编程 实现 基于 小 波 神经 网 络 的 短 时 交通 流量 

预测 。 


第 24 章 ”模糊 神经 网 络 的 预测 算法 一 嘉陵 江水 质 评价 218 
根据 模糊 神经 网 络 原理 ,在 MATLAB 中 编程 实现 基于 模糊 神经 网 络 的 水 质 评价 算法 。 
第 25 章 广义 神经 网 络 的 聚 类 算法 一 网 络 入 侵 聚 类 229 


楼 糊 聚 类 虽然 能 够 对 数据 聚 类 挖 据 ,但 是 由 于 网 络 入侵 特 征 数据 维 数 较 多 ,不 同 入 侵 类 唱 
间 的 数据 差别 较 小 ,不 少 入 侵 模式 不 能 被 准确 分 类 。 本 案例 采用 结合 模糊 聚 类 和 广 义 神 经 网 
络 回 归 的 聚 类 算法 对 入 侵 数 据 进行 分 类 。 


第 26 章 ”粒子 群 优化 算法 的 导 优 算法 -一 非 线性 函数 极 值 寻 优 ………… 236 
根据 PSO 算法 原理 ,在 MATI.AB 中 编程 实现 基于 PSO 算法 的 台数 极 值 寻 优 算法 。 
第 27 章 和 遗传 算法 优化 计算 一 一 建 模 自 变量 降 维 pe 243 


在 第 21 章 中 ,建立 模型 时 选用 的 每 个 样本 ( 即 注 例 ) 数 据 包括 10 个 量化 特征 (细胞 核 半 
径 、 质 地 , 周 长 面 积 ,光滑 性 ,紧密 度 . 四 陷 度 、 四 陷 点 数 、 对 称 度 . 断 型 度 ) 的 平均 值 .10 个 量化 
特征 的 标准 差 和 10 个 量化 特征 的 最 坏 值 (各 特征 的 3 个 最 天 数据 的 平均 值 ) 共 30 个 数据 。 明 
显 , 这 30 个 输入 自 变量 相互 之 间 存 在 一 定 的 关系 .并 非 相互 独立 的 ,因此 ,为 了 缩短 建 寞 时 间 
提高 建 模 精度 ,有 必要 将 30 个 输入 自 变 量 中 起 主要 影响 因素 的 自 变量 萍 选 出 来 参与 最 终 的 
建 措 。 
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第 28 童 ”基于 灰色 神经 网 络 的 预测 算法 研究 一 一 订单 需求 预测 258 
根据 友 色 神经 网 络 原理 ,在 MATLAB 中 编程 实现 基于 灰色 神经 网 络 的 订单 需求 预测 。 
第 29 章 基于 Kohonen 网 络 的 聚 类 算法 一 一 网络 入 侵 票 类 268 


根据 Kohonen 网 络 原理 ,在 MATLAB 软件 中 编程 实现 基于 Kohonen 网 络 的 网 络 入 候 分 
类 算法 。 
第 30 章 神经 网 络 GCUI 的 实现 一 基于 GUI 的 神经 网 络 拟 合 、 模 式 识别 、 聚 类 ……… 277 
为 了 便于 使 用 MATLAB 编程 的 新 用 户 ,快速 地 利用 神经 网 络 解决 实际 问题 ,MATLAB 
提供 了 一 个 基于 神经 网 络 工具 箱 的 图 形 用 户 界 面 。 考虑 到 图 形 用 户 界面 带 来 的 方便 和 和 神经 网 
络 在 数据 拟 合 .模式 识别 . 肾 类 各 个 领域 的 应 用 ,MATIAB R2009a 提供 了 三 种 神经 网 络 拟 合 
工具 箱 ( 拟 合 工 具 藉 /模式 识别 工具 箱 / 聚 类 工具 箱 ) 。 


第 工 章 ，BP 神经 网 络 的 数据 分 类 
一 一 语音 特征 信号 分 类 


1.1 党 例 稼 虹 


1.1.1 BP 和 神经 网 络 概述 


BP 神经 网 络 是 一 种 多 层 前 馈 神 经 网 络 ,该 网 络 的 主要 特点 是 信号 前 向 传递 ,误差 反 向 传 
播 。 在 前 向 传递 中 ,输入 信号 从 输入 层 经 隐 含 层 逐 层 处 理 , 直 至 输出 层 。 每 一 层 的 神经 元 状态 
只 影响 下 . - 层 神 经 元 状态 。 如 果 输 出 层 得 不 到 期 望 输出 ,出 转 和 人 反 向 传播 ,根据 预测 误差 调整 
网 络 权 什 和 冰 值 ,从 而 使 BP 神经 网 络 预测 输出 不 断 逼 近期 望 输出 。 BP 神经 网 络 的 拓扑 结构 
如 图 1-1 所 示 。 


输入 居 隐 含 层 输出 层 


图 1-1 BP 神经 网 络 拓扑 结构 图 

图 1- 1 中,X, ,Xs,…,X, 是 BP 神经 网 络 的 输入 值 ,Y; ,Y,,…,Y。 是 BP 神经 网 络 的 预 
测 值 ,wj 和 ww 为 BP 神经 网 络 权 值 。 从 图 1 -1 可 以 看 出 ,BP 神经 网 络 可 以 看 成 一 个 非 线性 函 
数 ,网 络 输 入 值 和 预测 值 分 别 为 该 函数 的 自 变量 和 因 变 量 。 当 输 入 节点 数 为 ,输出 节点 数 为 
mm 时 ,BP 神经 网 络 就 表达 了 从 "个 自 变 量 到 m 个 因 变量 的 函数 映射 关系 。 

BP 神经 网 络 预 测 前 首先 要 训练 网 络 , 通 过 训练 使 网 络 具 有 联想 记忆 和 预测 能 力 。BP 神 
经 网 络 的 训练 过 程 包括 以 下 几 个 步 又 。 

步 又 1: 网 络 初始 化 。 根 据 系统 答 入 输出 序列 (X,Y) 确 定 网 络 输入 层 节 点 数 7n, 隐 含 层 节 
点 数 才 输出 层 节点 数 mm, 初始 化 输入 层 、 隐 含 层 和 输出 层 圳 经 元 之 间 的 连接 权 值 w ,wi ,初始 
化 隐 含 层 阔 值 <, 输 出 层 阔 值 ,给 定 学 习 速 率 和 神经 元 激励 西数 。 

步骤 2: 隐 含 层 输出 计算 。 根 据 输入 向 量 X, 输 入 层 和 隐 含 屋 间 连接 权 值 w 以 及 隐 含 屋 
阔 侦 " ,计算 隐 含 层 输出 五 。 
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H = A Dorris) 12d G-D 

式 中 ,1 为 隐 含 层 节 点 数 ;了 为 降 售 层 激 矶 函数 ,该 明 数 有 多 种 表达 形式 ,本 章 所 选 函 数 为 : 
| 
fl) = TF (1-2) 


步骤 3: 输出 尽 输 出 计算 。 根 据 隐 含 层 输出 玉 , 连接 权 值 wj 和 国 值 5, 计算 BP 神经 网 络 
预测 输出 O。 


Oi = DHwn—b k= 12 om (1-3) 
步 绍 4: 误 辩 计算。 根据 网 络 预测 答 出 和 期 望 输出 了 ,| 算 网 络 预 测 误差 e。 
er = OF k= ,2 m (C14) 


步骤 5: 权 值 哆 新 。 根 据 网 络 陆 测 误 差 。 更 新 网 络 连接 权 值 w, .ww 。 


wy = wT 1 Dr) one j=12nj = 1 2,l {1-5) 


Fe 


wa = ws tHe = 12 dk 2 (1-6) 
式 中 ,为 学 习 速 率 。 
步骤 6: 出 值 更 新 。 根 据 网 络 预测 误差 e 更 新 网 络 节点 阔 值 < ;5 
a = + WH) > one 了 一 1 2 (1-7) 
所 二 本 十 6 下 二 12 (1 -8) 


步骤 7; 判断 算法 选 代 是 可 结束 , 若 没 有 结束 ,返回 步 虹 2。 
1.1.2 语音 特征 信号 识别 

语音 特征 信号 识别 是 诸 音 识别 研究 领域 中 的 一 个 重 变 方面 ,一 般 采 用 模式 此 配 的 原理 解 
决 。 语 将 识别 的 运算 过 程 为 :首先 , 待 识别 语音 转化 为 电 售 吕 后 输入 识别 系统 ,经 过 预 处 理 后 
用 数学 方法 提取 语音 特征 信号 ,提取 出 的 语音 特 民 可 以 看 成 该 段 语 音 的 模式 。 然 后 将 该 
段 语音 模型 同 已 知 参 专 模式 相 比较 , 效 得 县 侍 匹 配 的 参考 模式 为 该 段 洁 音 的 识别 结果 。 语 音 
识别 流程 如 图 1 - 2 所 示 。 


参考 
| 让 


语音 信 寻 识别 结 娄 


模式 匹配 训 判决 规划 


中 


栅 处 理 信号 提取 


图 1-2 语音 识别 流程 
本 案例 选取 了 民歌 . 古 稳 、. 摇 滚 和 流行 四 类 不 同音 乐 ,用 BP 神经 网 络 实现 对 这 四 类 音乐 
的 有 效 分 类 。 每 段 音乐 痢 用 倒 谱 系数 法 提取 500 组 24 维 语音 特征 信号 ,提取 出 的 语音 特征 信 
号 如 图 1 -3 所 示 。 
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语音 特征 信号 


50 100 150 200 250 300 350 400 450 500 


i Lu os 汪 J 
昌 50 100 150 200 250 300 350 400 450 500 
语音 帧 


图 1- 3 语音 特征 全 号 
1.2 模型 建立 


基于 BP 神经 网 络 的 语音 特征 信号 分 类 算法 建 模 包括 BP 神经 网 络 构建 .BP 神经 网 络 训 
练 和 BP 神经 网 络 分 类 三 步 ,算法 流程 如 图 1 -4 所 示 。 


入 如 网 六 本 如 re 
N 
构建 合适 的 BP BP 神经 网 络 BP 神 : 
ee a < 


BP 神经 网 络 分 类 


BP 神经 网 络 | | 浏 试 数据 


分 类 


图 1-4 算法 流程 


BP 神经 网 络 构建 根据 系统 输入 输 出 数据 特点 确定 BP 神经 网 络 的 结构 ,由 于 语 普 特 征 输 
入 信和 分 有 24 维 , 待 分 类 的 请 音信 号 共有 4 类 ,所 以 BP 神经 网 络 的 结构 为 24 一 25 4, 即 输入 
层 有 24 个 节点 , 隐 含 层 有 25 个 节点 ,输出 民有 4 个 季 点 。 

BP 神经 网 络 训练 用 训练 数据 训练 BP 神经 网 络 。 共 有 2 000 组 语音 特征 信 怠 ,从 中 随机 
选择 1 500 组 数据 作为 训练 数据 训练 网 络 ,500 组 数据 作为 测试 数据 测试 网 络 分 类 能 力 。 
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BP 神经 网 络 分 类 用 训练 好 的 神经 网 络 对 测试 数据 所 属 语音 类 别 进行 分 类 。 
1.3 MATLAB 实现 


根据 BP 神经 网 络 理论 ,在 MATLAB 软件 中 编程 实现 基于 BP 神经 网 络 的 语音 特征 信号 
分 类 算法 。 


1.3.1 归 一 化 方法 及 MATLAB 函数 


数据 归 一 化 方法 是 神经 网 络 预 测 前 对 数据 常 做 的 一 种 处 理 方法 。 数 据 归 一 化 处 理 把 所 有 
数据 都 转化 为 [0,1] 之 间 的 数 ,其 日 的 是 取消 各 维 数据 间 数 量 级 差别 ,避免 因为 输入 给 出 数据 
数量 级 差别 较 大 而 造成 网 络 预测 误差 较 大 。 数 据 果 一 化 的 方法 主要 有 以 下 两 种 。 

1) 最 大 最 小 法 。 尔 数 形式 如 下 ; 

ACT 一 Tre) (1 -9) 
式 中 ,rmn 为 数据 序 谢 中 的 最 小 数 ;zwwx 为 序列 中 的 最 大 数 。 

2) 平均 数 方差 法 ,函数 形式 如 下 ， 

Te = (Th mn) To (1 -10) 
式 中 ,zw 为 数据 序列 的 均值 ;zw 为 数据 的 方差 。 

本 案例 采用 第 一 种 数据 归 一 化 方法 , 归 一 化 两 数 采 用 MATLAB 自 带 函 数 mapminmax， 

该 函数 有 多 种 形式 ,常用 的 方法 如 下 。 


# input_train,output_train 分 别 是 训练 输入 、 输 出 数据 
[inputn, inputps] = mapminmaxt input_train) 


Eoutputn, outputps] = mapminnax(output train); 


input_train,output_train 是 训练 输入 、 输 出 原始 数据 ,inputn,outputn 是 归 一 化 后 的 数 
据 ,inputps,outputps 为 数据 归 一 化 后 得 到 的 结构 体 , 里 而 包含 了 数据 最 大 值 .最 小 值 和 平均 
值 等 信息 ,可 用 于 测试 数据 归 一 化 和 皮 归 一 化 。 测试 数 据 归 一 化 和 反 归 一 化 程序 如 下 。 

inputn_test = mapminmax('apply",input_test, inputps) 5% 测 试 输入 数据 归 一 化 

BPoutput = mapminmax(' reverse"yanyoutputps)5 多 网 络 预测 数据 反 归 一 化 

input_test 是 预测 输入 数据 ,inputn_test 是 归 一 化 后 的 预测 数据 ,apply 表示 根据 inputps 的 
值 对 input_test 进行 归 一 化 。an 是 网 络 预测 结果 ,outputps 是 训练 输出 数据 归 一 化 得 到 的 结构 
体 ,BPoutput 是 反 归 一 化 之 后 的 网 络 预 测 输 出，reverse 表示 对 数据 进行 反 归 一 化 。 


1.3.2 数据 选择 和 归 一 化 


首先 根据 倒 谱系 数 法 提取 四 类 音乐 语音 特征 信号 ,不 同 的 语音 信号 分 别 用 1,2,3,4 标识 ， 
提取 出 的 信号 分 别 存储 于 datal. mat, data2. mat, data3. mat, data4. mat 数据 库 文件 中 ,每 组 
数据 为 25 维 ,第 1 维 为 类 别 标识 ,后 24 维 为 语音 特征 信号 。 把 四 类 语音 特征 信号 合 为 一 组 ， 
从 中 随机 选取 1 500 组 数据 作为 训练 数据 ,500 组 数据 作为 测试 数据 ,并 对 训练 数据 进行 归 一 
化 处 理 。 根据 语音 类 别 标识 设 定 每 组 语音 信号 的 期 户 输 出 值 , 如 标识 类 为 1 时 ,期 望 输出 向 量 
为 [1 0 0 0]。 
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$$ 清空 环境 变量 
clc 
clear 


$ 导 人 由 类 语音 信号 
load datal ci 
load data2 c2 
load data3 c3 
1oad datad c4 


将 四 类 语音 特征 信号 合并 为 一 组 
data(1:500,:) = c1(1:500 
data(501:1000,;) = c2(1:500,:); 

data(1001:1500 C3(1:500,:); 
data(1501:2000,:) = c4(1:500,:)» 


输入 输出 数据 
input = data( ,2:25), 
outputl = data(:,1); 


名 设 定 每 组 葵 入 输出 信和 号 
for i= 1:2000 
Switch output1(i) 
case 1 


output(i,:) = [1000]; 
Case 2 
output(i,.)=[0100]: 
case 3 
output(i,;) = [0 01 0] 
case 4 
output(i,:) = [0001]; 
end 
end 


多 从 中 随机 抽取 1500 组 数据 作为 训练 数据 ,500 组 数据 作为 预测 数据 
k= rand(1,2000); 
[mn] = sort0o， 


input_train = input(n(1:1500),:)'; 
output_train = output(n(1:1500) ,1)'; 
input_test = input(n(1501,2000), ;)"; 
output_test = output (nC(1501,2000) , ,)'s 


输入 数据 妇 一 化 


finputn, inputps] = napmainmax( inpnt_train) ; 
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1.3.3 BP 和 神经 网 络 结构 初始 化 


根据 语音 特征 信号 特点 确定 BP 神经 网 络 的 结构 为 24 -25 一 4, 随 机 初始 化 BP 神经 网 络 
权 值 和 阔 值 。 ， 
多 网 络 结构 


innun = 241 
midnun = 253 
outmnm = 4; 


# 权 值 钢 值 初始 化 

ml = rands(nidnum, innum) 
bl = rands(nidnum, 1); 

Ww2 = rands(midnum, outnum) 
12 = rands(outnum,1) 1 


1.3.4 BP 和 神经 网 络 训练 
用 训练 数据 训练 BP 神经 网 络 ,在 训练 过 程 中 根据 网 络 预 测 误差 调整 网 络 的 权 值 和 阅 值 。 


for ii=1:20 
ECGii) = 0; 名 训练 误差 
for i=1:1:1500 


名 选择 本 次 训练 数据 


x= inputn(: yi) 


包 隐 含 层 输 出 

for j= 1:1:midnun 
ID) = inputn(: si) # wj + bl (Ds 
Tout(j) = 1/(1 + exp( — 1(3))); 

end 

输出 层 输出 

了 = Tout'+ b2: 


% 预测 误 差 
e= output,_ train(; ,1) - yn; 
RKiiy = EC(ii) + sun(abste)); 


名 计 算 w2,b2 调整 量 
dw2 = €x* Iouts 
db2= ee"; 


计算 中 ,bl 调整 放 
for j= 1:1:midoum 
S=1/(1+ expt - IC))); 
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FI(j)=S* (1-8) 
end 
for k= 1;1:innum 
for j = 1:1:midnum 
cul (he,j) = FTC) # x(k) x 《KeC) x w2(j,1) + e(2) % W260j12) + e(3) x w2(j,3) + el4) 4 w2(3,4))s 
S10 = PIO) < Ce(D) # w2 (3,1) + el2) # W2012) + el3) x w2(3,3) + eCd) # wj.4)) 
end 
end 


% 权 值 谍 值 更 新 

wl =w1_1+xitex dwl'; 
bl = bl_1+xiter dbl'; 
W2 = Ww2_1 + xiter dw2'y 
b2=b2 1+xitex db2 人 1 


和 结果 保存 
wll = ls 
W211 = 2 
bl_1= bli 
b2_ 1= b2 
end 


end 


1.3.5 BP 和 神经 网 络 分 类 


用 训练 好 的 BP 神经 网 络 分 类 语音 特征 信号 ,根据 分 类 结果 分 析 BP 神经 网 络 分 类 能 力 。 


名 输入 数据 归 一 化 

inputn_test = mapminnax( apply', input_test,inputps); 
名 网 络 预 测 

for i= 1:500 


midnum 
inputn_ test(: i) x w1(j,:) + b1(j); 
Tout(j) = 1/(1 + exp( ~ I(D)))s 


end 
预测 结果 
fore(: ,1) = w2'« Iout'+ b2; 


end 


和 类别 统 计 
for i=1.500 
Output_fore(i) = find(fore( ; ,1) == max(fore( :,i))); 


end 
预测 误差 
error = output_fore ~ outputl(n(1501:2000))'; 
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k= zerost1,4)3 
名 统计 误差 
for 1= 1:500 
if error(i)~ =0 
fb:c] = max(output_test(; ,1)); 
switch c 
casel 
KC) = kD +1i 
case 2 
(2) = k(2) + 1 
Case 3 
k(3)=k(3)+15 
case 4 
K(4) = kA + 1 
end 
end 


end 


统计 正确 率 
rightridio = (xdc — k). /kk 


1.3.6 结果 分 析 


用 训练 好 的 BP 神经 网 络 分 类 语音 特征 信号 测试 数据 ,BP 神经 网 络 分 类 误差 旭 图 1 -5 
所 水。 
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图 1-5 BP 神经 网 络 分 类 误差 
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BP 神经 网 络 分 类 正确 举 如 表 1 -1 所 便 。 
表 1-1! BP 网 络 分 类 正确 率 


详 阁 信 入 类 其 | 第 -类 | 第 :类 | 六 : 炎 | 第 由 区 


识别 正确 率 | 0.728 3 Linn | 70 0.39 


从 BP 神经 网 络 分 类 结果 可 以 看 出 ,基于 BP 神经 网 络 的 语音 中 导 分 类 算法 具有 较 高 的 准 
确 人 性 ,能 够 准确 识别 出 诗 音 信 导 所 局 类 别 。 


1.4 案例 扩展 


1.4.1 隐 合 居 节 点 数 
BP 神经 网 络 的 隐 含 层 节点 数 对 BP 神经 网 络 该 测 精 度 有 较 大 的 影响 :节点 数 太 少 ,网 络 


不 能 很 好 地 学 变 增 加 训练 次 数 ,训练 的 精度 也 受 影响 ;节点 数 太 多 ,训练 时 间 增加 ,网 络 
容易 过 拟 合 。 最 佳 隐 食 民 节点 数 选择 可 参考 如 下 公 式 。 

< 一 《1-11) 

{< Vm ntu (1 -12) 

{= log:n (1 -13) 

式 中 ,为 输入 屋 季 点 数 ;4 为 隐 含 层 节点 数 ;om 为 输出 层 节点 数 ja 为 0~10 之 间 的 常数 。 在 


实际 问题 中 , 隐 含 层 季 点 数 的 选择 首先 是 参考 公式 来 确定 节点 数 的 大 概 范围 ,然后 用 试 凑 法 确 
定 最 佳 的 节点 数 。 对 于 某 些 问题 来 说 , 隐 含 层 节点 数 对 输出 结果 影响 较 小 ,如 对 十 本 案例 来 
说 ,分 类 误差 同 隐 售 层 节点 数 的 关系 如 网 1 -6 所 东 。 


o18 变化 
! ! 
0.17 ， 
十 ! | 
计 0.16 1 | 
Ee 
0.15 1 所 
i ! 
， i 
O04is 20 ， 25 30 
隐 含 县 节 点 数 


图 1-6 预测 误差 和 隐 含 层 节点 数 关系 
从 网 1- 可 以 看 出 ,机 案例 中 BP 神经 网 络 分 类 误差 率 随 着 隐 含 居 节点 数 的 增加 面 厂 小 。 对 
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于 - 般 问 题 来 说 ,BP 神经 网 络 的 分 类 误差 随 着 隐 含 层 节点 数 的 增加 咀 现 先 减 少 后 增加 的 趋势 。 
1.4.2 附加 动量 方法 


BP 神经 网 络 的 采用 梯度 修正 法 作为 权 值 向 值 的 学 习 算法 ,从 网 络 预 测 误差 的 负 梯 度 方 
向 修正 权 们 和 阐 什 ,没有 考虑 以 前 经 验 的 积累 ,学 当 过 程 收 化 缓慢 。 对 于 这 个 问题 ,可 以 采用 
附加 动量 方法 来 解决 , 带 附加 动量 的 权 值 学 习 公 式 为 

wR) 一 (一 1) A + a m1) — wk 2)] (1 -14) 

式 中 心 (ya 一 1) ,w( 全 一 2) 分 别 时 ,此 一 1 站 一 2 时 刻 的 权 值 ;a 为 动量 学 习 率 。MATLAB 
程序 如 下 : 

xiteralfa 为 学 习 率 

wi=nl 1+xitexdwl’+talfax (wl_1~ wl_2)s 

bl=bl 1+xiten dbl'+alfax (bl 1- bl 2)s 

W221 + xites dw2' talfax (W2_1— w2_2)3 

b2=b2 1+xitex db2'+alfa# (b2_1- b2 2); 


1.4.3 蛮 学 习 率 学 习 算 法 


BP 神经 网 络 学 习 率 了 的 取 值 在 -0,1] 之 间 , 学 习 率 3 越 大 ,对 权 值 的 修改 越 大 ,网 络 学 习 
速度 越 快 。 但 过 大 的 学 习 速率 将 使 权 值 学 习 过 程 中 产生 震荡 ,过 小 的 学 习 概 闪 使 网 络 收 第 
过 慢 , 权 值 难 以 趋 于 稳定 。 变 学 习 率 方法 是 指 学 习 概率 ? 在 BP 神经 网 络 进化 初期 较 大 ,网 络 
收 伍 迅 速 , 随 着 学 习 过 程 的 进行 ,学 习 率 不 断 减 小 ,网 络 趋 于 稳定 。 变 学 习 率 计算 公式 为 

HD) 一 ou tl 一 grin ) /nar 1-15) 
式 中 ,www 为 最 大 学 习 率 ;xn 为 最 小 学 习 率 ;two 为 服 大 选 代 次 数 ;t 为 当前 选 代 次 数 。 
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第 之 章 ”BP 神经 网 络 的 非 线性 系统 建 模 
一 一 非 线性 函数 拟 合 


2.1 染 例 珍 暴 


在 工程 应 用 中 经 常会 遇 到 一 些 复杂 的 非 线性 系统 ,这 些 系统 状态 方程 复杂 ,难以 用 数学 广 
法 准确 建 模 。 在 这 种 情况 下 ,可 以 建立 BP 神经 网 络 表达 这 些 非 线性 系统 。 该 方法 把 未 知 系 
统 看 成 是 一 个 周 箱 ,首先 用 系统 输入 输出 数据 训练 BP 神经 网 络 ,使 网 络 能 够 表达 该 未 知 函 
数 ,然后 就 可 以 用 训练 好 的 BP 神经 网 络 预 浏 系统 输出 。 

本 章 拟 合 的 非 线 性 函数 为 


y= itz (2-1) 
该 函数 的 图 形 如 网 2- 1 所 示 。 
韭 线 作 函 数 


50 
40 \ / 
30 | . 
> 
20 | 
: 


x1 


图 2-1 非 线性 函数 图 形 


2.2 模型 建立 


基于 BP 坤 经 网 络 的 非 线性 肯 数 拟 合算 法 流程 可 以 分 为 BP 神经 网 络 构 建 ,BP 神经 网 络 
训练 和 BP 神经 网 络 预测 三 步 ,如 图 2 - 2 所 示 。 

BP 神经 网 络 构建 根据 拟 合 非 线性 漆 数 特点 确定 BP 神经 网 络 结构 ,由 于 该 非 线性 函数 有 
两 个 输入 参数 ,一 个 输出 参数 ,所 以 BP 神经 网 络 结构 为 2 -5 一 1, 即 输入 层 有 2 个 节点 , 隐 合 
层 有 5 个 节点 ,输出 层 有 1 个 节点 。 、 

BP 神经 网 络 训练 用 非 线性 函数 输入 输出 数据 训练 神经 网 络 ,使 训练 后 的 网 络 能 够 预测 非 
线性 两 数 输 击 。 从 非 线性 卫 数 中 随机 得 到 2 000 组 输入 输出 数据 ,从 中 随机 选择 1 900 组 作为 
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BP 神经 网 络 构 建 BP 神 经 网络 训练 


:于 可 构建 合适 的 BP BP 覃 经 网 络 
系统 建 异 “| 神经 网 络 初始 化 门 


jl 练 结 床 . 


BP 神经 网 络 棒 测 


BP 神经 网 络 | ] 济 试 数据” 慎 汪 
预测 


图 2-2 算法 流程 


训练 数据 ,用 于 网 络 训练 ,100 组 作为 测试 数据 ,用 于 测试 网 络 的 拟 合 性 能 。 
神经 网 络 预测 用 训练 好 的 网 络 预测 函数 输出 ,并 对 预测 结果 进行 分 析 ， 


2.3 MATLAB 实 观 


根据 BP 神经 网 络 理论 ,用 MATLAB 软件 编程 实现 基于 PP 神经 网 络 的 非 线性 拟 合 
算法 。 
2.3.1 BP 和 神经 网 络 工具 箱 函 数 


MATLAB 软件 中 包含 MATIAB 神经 网 络 工具 箱 。 它 是 以 人 工 神经 网 络 理论 为 基础 、 
用 MATLAB 语 语 构 造 出 了 该 理论 所 涉及 的 公式 运算 , 惩 阵 操作 和 方程 求解 等 人 部 分 子 程序 
以 用 于 神经 网 络 的 设计 和 训练 。 用 户 只 需 根据 自己 的 需要 调用 相关 的 子 程序 ,好 可 以 完成 包 
括 网 络 结构 设计 、 权 全 初始 化 、 网 络 训练 及 结果 输出 等 在 内 的 一 系列 工作 ,免除 编 殷 复杂 庞大 
程序 的 困扰 。 月 前 ,MATLAB 神经 网 络 工 具 箱包 括 的 网 络 有 感知 器 .线性 网 络 ,BP 神经 网 
络 、. 径 向 基 网 络 . 自 组 织 网 络 和 回归 网 络 等 。BP 神经 网 络 主要 用 色 newff,sim 和 train 3 个 神 
经 网 络 阵 数 ,各 函数 解释 如 下 。 

1. newff; BP 神经 网 络 参 数 设置 函数 

鸡 数 功能 ;构建 - -个 BP 神经 网 络 。 

良 数 形式 :net 一 newff(P.T,S, TF,BTF,BLF,PF,IPF, OPF,DDF) 

了 :输入 数据 定 阵 。 

工 :输出 数据 撼 阵 。 

:节点 传递 症 数 ,包括 厂 限 幅 传 递 丙 数 hardlim, 对 称 硬 限 幅 传递 函数 hardlims', 线 性 传 
递 卫 数 purelin ,正切 S 时 传递 兵 数 tansig ,对 数 S 型 传递 函数 logsig。 

BTF :训练 哺 数 ,包括 梯度 下 降 BP 算法 训练 两 数 traingd, 动量 反 传 的 梯度 下 降 BP 算法 
训练 函数 traingdm, 动态 自 适 应 学 习 率 的 梯度 下 降 BP 算法 训练 咕 数 traingda' 动 基 反 传 和 动 
态 自 适 应 学 习 率 的 梯度 下 降 BP 算法 训练 水 数 traingdx, Levenberg_Marquardt 的 BP 算法 训 
练 函数 trainlm 。 

BLF :网 络 学 习 函 数 , 包 括 BP 学 习 规则 learngd, 带 动量 项 的 BP 学 习 规则 learngdm。 
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PF: 性 能 分 析 淫 数 ,包括 均值 绝对 谋 基 性 能 分 析 陋 数 mae, 均 方差 性 能 分 析 函 数 mse。 
IPF: 输 入 处 理沙 数 。 

OPF: 输 出 处 理 限 数 。 

DDF ;验证 数据 划分 明 数 。 

一 般 在 使 用 过 程 中 设置 前 别 6 个 参数 ,后 面 4 个 参 
2，train:BP 神经 网 络 训练 函数 

明 数 功能 :用 训练 数据 训练 BP 神经 网 络 。 

隐 数 形式 :Tnet,tr] = train(NET,X,T.Pi, Ai) 
NET: 待 训练 网 络 。 

X: 输 入 数据 年 阵 。 

工 :输出 数据 矩阵 。 

Pi: 初 始 化 输入 层 条 件 。 

Ai: 初 始 化 输出 居 条 件 。 

net: 训练 好 的 网 络 。 

tr: 训 练 过 程 记录 。 

一 般 在 使 用 过 程 中 设置 前 亩 3 个 参数 ,后 面 2 个 参数 采用 系统 默认 参数 。 
3 sim:BP 神经 网 络 预测 函数 

画 数 功能 :用 训练 好 的 BP 神经 网 络 预测 晒 数 输出 。 

阴 数 形式 :y 一 simknctyx) 

net: 训 练 好 的 网 络 。 

x: 输 入 数据 。 

y: 网 络 预测 数据 。 


采用 系统 默认 参数 。 


2.3.2 数据 选择 和 归 一 化 


根据 非 线性 函数 方程 随机 得 到 该 函数 的 2 000 组 输入 输出 数据 ,将 数据 存储 在 data. mat 


文件 中 ,input 是 两 数 输入 数据 ,output 是 浙 数 输出 数据 。 从 输入 输出 数据 中 随机 选取 1 900 
组 数据 作为 网 络 训练 数据 ,100 组 数据 作为 网 络 测试 数据 ,并 对 训练 数据 进行 归 一 -化 处 理 。 


*$ 清空 环 境 变量 
cle 


clear 


多 下 载 输 入 输出 数据 


load data input output. 


随机 选择 1900 组 训练 数据 和 100 组 预测 数据 
k= rand(1,2000)， 

[mn] = sort(k), 

input. train= input(n(1:1900),:)'; 
output_train = output(n(1;1900), :)'s 

input test = input(n(1901,2000),,)'; 


i 入 兴 深 洗 二 面 尖 宣 府 计策 本寺 攻 年 深 六 
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output_test = output(n(1901:2000), +)'; 


$ 训练 数据 归 一 化 


j= mapminmax( input train); 


ELinputn, input 
[outputn, outputps] = mapminmax( output_train); 


2.3.3 BP 和 神经 网 络 训练 


% BP 神经 网 络 构建 
net = newff(inputn,outputn,5)s 


# 网 络 参数 配置 ( 选 代 次 数 ,学 习 率 ,目标 ? 


著 

你 net. trainParam, epochs = 100; 

对 net. trainParam lr = 0.1} 

书 net, trainparam. goal = 0. 00004; 
内 

容 

有 多 BP 神经 网 络 训练 

入 net = train(net, inputn,outputn); 
妖 

河 


2.3.4 BP 神 经 网 络 预测 


分 析 BP 神经 网 络 的 拟 合 能 力 。 
预测 数据 归 一 化 


inputn_test = mapminnax(’ apply', input_test, inputps)} 


BP 神经 次 络 预测 输出 


an = sim(net, inputn_test) 7 


* 输出 结果 反 归 … 化 


BPoutput = mapminmaxf' reverse',an, outputps); 
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和 网络 预 测 结果 图 形 
Figure(1) 
plot(BEoutput iog 
hold on 


plot(output_test， 一 *"); 
legend( 预测 输出 ,期 望 输出 7 

title(' BP 网 络 预 测 输出 fontsize' 12) 
ylabel1(' 函 数 输出 ',' fontsize' 12》 
xlabel( 样 本 ,fontsize',12) 


鱼网 络 预测 误差 图 形 


用 训练 数据 训练 BP 神经 网 络 ,使 网 络 对 非 线性 状 数 输出 具有 询 测 能 力 。 


用 训练 好 的 BP 神经 网 络 顶 测 非 线性 函数 输出 ,并 通过 BP 神经 网 络 预 测 输 出 和 期 望 输出 
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figure(2) 

Plot(error, ~ *") 

title("BP 网 络 预测 误差 "fontsize',12) 

ylabel(' 误 差 '，fontsize ,12) 

xlabel( 料 本 fontsize ,12) 


2.3.5 结果 分 析 


用 训练 好 的 BP 神经 网 络 预 测 函 数 输出 ,预测 结果 如 图 2 - 3 所 示 。 
BP 神经 网 络 预测 输出 和 期 望 输出 的 误 凑 如 图 2 -4 所 示 。 


so Pd 络 者 给 出 ， 04 BPId 络 俩 出 误 益 
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图 2-3 BP 神经 网 络 预测 图 2-4 BP 神经 网 络 预测 误差 


从 图 2-3 和 图 2 -4 可 以 看 出 ,虽然 BP 神经 网 络 具有 较 高 的 拟 合 能 力 ,但 是 网 络 防 测 结 
炽 仍 有 “ 定 误差 , 某 些 样 本 点 的 预测 误差 较 大 。 后 面 案 例 中 将 讨论 BP 神经 网 络 优化 算法 ,以 
得 到 更 好 的 预测 结果 。 


2.4 蛇 例 扩展 


2.4.1 多 隐 舍 层 BP 神经 网 络 


BP 神经 网 络 由 输入 层 , 聊 含 层 和 输出 层 组 成 , 隐 含 层 根据 层 数 又 可 以 分 为 单 隐 含 层 和 光 
隐 含 层 。 多 隐 含 居 由 多 个 单 隐 含 层 组 成 , 同 单 隐 含 层 相 比 ,多 隐 含 层 泛 化 能 力 强 ,预测 精度 高 ， 
但 基 训 练 时 间 较 长 。 隐 含 层 层 数 的 选择 要 从 网 络 精度 和 训练 时 间 上 综合 考虑 ,对 于 较 简单 的 
映射 关系 ,在 网 络 精度 达到 要 求 的 情况 下 ,可 以 选择 单 隐 含 层 ,以 求 如 侠 速 度 ; 对 于 复杂 的 映射 
关系 , 则 可 以 选择 多 隐 含 层 ,以 期 提高 网 络 的 预测 精度 。 

MATLAB 神经 网 络 工具 箱 中 的 newff 函数 可 以 方便 地 构建 包含 多 个 隐 含 层 的 BP 神经 
网 络 ,其 调用 丽 数 如 下 ， 


Fins 
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net = newff(P,T,S,TF,BTF,BLF,PE,1FF,OPF,DDF) 

根据 newff 的 帮助 文件 可 知 newff 函数 的 第 个 参数 S 的 解释 如 下 。 

Si Sizes of N 一 1 hidden layers, Sl to SCN 一 1D)，default = [ 3， 《Si 为 第 i 个 隐 仿 层 入 
点 数 ,i=1:N 一 1) 

从 英文 帮助 可 知 ,S 是 不 同 陷 含 层 包含 的 节点 数 问 革 , 通 过 配置 $ 向 昌 , 可 以 方便 地 得 到 
包含 多 个 隐 含 层 的 BP 神经 网 络 ,如 下 面 语句 ; 

net = newff( inputnvoutputny[5,5|)5 


该 语句 构建 了 双 隐 含 层 BP 神经 网 络 , 和 但 个 隐 含 层 的 节点 数 毅 是 5, 程序 运行 时 显示 的 网 
络 结构 和 运行 过 程 如 图 2-5 所 示 。 
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图 2-5 双 隐 含 层 BP 神经 网 络 
从 运行 时 间 和 预测 精度 两 个 方面 比较 单 隐 含 层 BP 神经 网 络 和 双 隐 含 层 BP 神经 网 络 的 
性 能 ,网 络 结构 相同 ,训练 适 代 都 为 100 次 ,比较 10 次 预测 结果 平均 值 ,比较 结果 如 表 2 -1 
所 列 。 


表 2-1 BP 覃 经 网 络 预 测 结果 比较 


网 络 类 别 项 测 误 关 看 分 比 地 方 误 具 运行 时 间 js 
单 隐 仿 号 BP 神经 网 络 1.4% 0.007 5 8.005 3 


疏 脆 含 民 BP 神经 网 络 1.80% 0.0016 9.859 2 
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从 表 2 一 1 可 以 在 出 , 双 隐 含 层 BP 神经 网 络 同 单 隐 合 凤 BP 神经 网 络 相 雍 , 闫 测 精 度 有 所 
提高, 但 是 运行 时 间 有 所 增加 。 
2.4.2 隐 含 层 节 点 数 

BP 神经 网 络 构建 时 应 注 凡 节 虚数 的 选择 ,如 果 隐 含 层 合 节点 数 太 少 ,BP 神经 网 络 

下 能 建立 复杂 的 映射 关系 ,网 络 秽 测 误 关 较 大 。 供 是 如 果 节 点 数 过 多 ,网 络 学 习 时 间 增 加 , 虹 

且 可 能 出 现 * 过 拟 合 "现象 ， i 测 淮 确 ,但 是 其 他 样 丰 预测 误 关 较 大 。 不 同 隐 含 层 

节点 数 BP 神经 网 络 预测 误差 如 可 2 -2 所 列 。 

表 2-2 不 同 隐 含 层 节点 数 BP 神经 网 络 预测 误差 


T 1 
EE 4 5 在 了 3 9 
5.165 1.75% 1 所 澡 0.32% ,3% 29% 0. 08 
均 广 误 凑 G0094 | 90131 | 0.0078 | 0.0012 | o.oo00 1 | O002 | 0.0001 


出 于 本 案例 拟 合 的 非 线性 函数 较为 简单 ,所 以 BP 神经 网 络 项 测 误 帮 随 着 节点 数 的 增加 
而 个 断 减少 ,但 是 对 于 复杂 问题 来 涪 , 网 络 预测 误差 随 节 点 数 增加 一般 呈现 先 减少 后 增加 隐 
趋势 。 


2.4.3 训练 数据 对 预测 精度 影响 


神经 网 络 预 测 的 准确 性 和 训练 数据 的 多 少 有 较 大 的 关系 , 儿 其 记 于 一 个 多 输入 多 输出 的 
网 络 , 如 果 缺 乏 足 够 多 的 网 络 训练 数据 ,网 络 项 测 值 可 能 存在 较 类 的 误差 。 

笔者 曾经 做 过 一 个 BP 神经 网 络 预测 实例 .该 实例 通过 建 YY 一 个 4 输入 .5 输出 BP 神经 
网 络 顶 测 实 验 结果 。 网 络 训练 数据 来 自 于 真 验 ,由 于 实验 过 程 复 条 , 改 只 取 到 84 组 数据 ， 
选择 其 中 80 组 数据 作为 BP 神经 网 络 训练 数据 , 具 余 4 组 数据 作为 测试 数据 ,训练 后 的 BP 神 
经 网 络 预测 结果 如 表 2 - 3 所 列 。 


表 2-3 BP 神经 网 络 预测 结果 


项 测 值 期 彰 值 
输出 1 输出 2 | 输出 3 | 栓 册 4 | 输 放 了 输 册 1 输出 2 | 输出 3 | 输出 4 | 输出 5 
0.5157 2.8501 1.7968 1.3133 2.0382 2.8000 2.0000 1.2000 2. 8000 2.0000 
].467 1 ].8213 .3193 9, 7036 1.4825 2.2000 .8000 1 0 0 0. BOO .0000 
1.3488 L738 1.7411 0736 2592 1.6000 1.8000 1.6000 1.6000 1.6000 | 
mm 2160 | 1.7732 1.7066 1.3959 .5 全 ] | 1,.0000 1.4000 1,.8000 2. 6000 3.0000 


从 表 2 -3 可 以 看 出 ,由 于 缺 环 训练 数据 ,BP 神经 网 络 没有 得 到 充分 训练 ,BP 神经 网 络 巴 
测 值 和 期 望 值 之 问 误 基 较 大 。 

笔者 曾经 做 过 -个 类 似 的 预测 问题 ,该 问 题 的 日 的 是 爸 建 一 个 4 输入 4 输出 的 BP 神经 
网 络 质 测 系统 输出 ,训练 数据 来 自 于 模型 仿 直 结果 。 出 于 该 模型 可 以 通过 软件 模拟 ,所 以 得 到 
多 组 数据 ,选择 1 500 组 数据 训练 网 络 , 最 后 网 络 预测 值 同期 望 值 比较 接近 。 
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2.4.4 节点 转移 函数 


MATLAB 神经 网 络 芽 具 箱 中 newff 函数 提供 了 几 种 节点 转移 鲍 数 ,主要 包括 以 下 三 种 。 
1) logsig 消 数 ; 


y= 1/[l1— exp(— x)! {2-2) 

2) tansig 商 数 : 
y = 2/[1— exp(--27)]—1 (2-3) 

3) purelin 函数 : 
一 2-4) 


在 网 络 结构 和 权 值 、 关 值 相同 的 情况 下 ,BP 神经 网 络 预测 谋 差 和 岁 方 误差 ,输出 层 节 点 转 
移 阻 数 的 关系 如 表 2 -4 所 列 。 
胡 2-4 不 同 转移 西数 对 应 预测 误差 


隐 含 慑 久 数 | 输 信 屋 也 数 | 诬 差 站 分 比 岁 方 浊 基 
Jogsig tansig 40.63% 0.9025 
logsig purelin 90.08% 0.000 1 
logsig logsig 352. 65% 181.2511 
tansig Tansig 31.90% - 1,.1733 
tansig logsig 340.90»% 162. 969 8 
tansig Purelin 1.70% D0.007 
purelin Jogsig 343. 36% 143. 753 34 
Purelin tansig 120, OQ8% 113.0281 
purelin purelin 196. 49% 99.0121 


从 表 2 -4 5 以 看 出 , 隐 含 层 和 输出 层 函 数 的 选择 对 BP 神经 网 络 预测 精度 有 较 大 影响 。 
-- 般 隐 含 层 节点 转移 咀 数 选用 logsig 函数 或 tansig 函数 ,输出 屋 节点 转移 函数 选用 tansig 或 
purelin 函数 。 


2.4.5 网 络 拟 合 的 局 限 性 


BP 神经 网 络 虽然 具有 较 好 的 拟 合 能 力 , 但 其 拟 合 能 力 不 是 绝对 的 ,对 寺 一 些 复 杂 系统 ， 
BP 神经 网 络 预测 结果 会 存在 较 大 误差 。 比 如 对 于 
y= (rf 二 "(sin [50(x?t 十 zx)*!] 十 1} (2-5) 
其 函数 同形 如 图 2 -6 所 示 。 
随机 选取 该 函数 2 000 组 输入 输出 数据 ,从 中 取 1 900 组 数据 训练 网 络 ,100 组 数据 测试 
网 络 拟 合 能 力 。 采 用 单 隐 含 层 BP 神经 网 络 ,网 络 结构 为 2 一 5-- 1, 网 络 训练 100 次 后 预测 隆 
数 输出 ,预测 结果 如 图 2-7 所 未 。 
从 图 2-7 可 以 看 出 ,对 于 复杂 的 非 线性 系统 ,BP 神经 网 络 预测 误差 较 大 。 该 例 说 明 BP 
神经 网 络 的 拟 合 能 力 具 有 局 限 性 。 
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图 2-6 复杂 函 数 图 形 
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图 2-7 BP 神经 网 络 预测 结果 
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第 3 章 遗传 算法 优化 BP 神经 网 络 
| “一 一 非 线性 了 数 拟 合 


3.1 染 例 背景 


3.1.1 遗传 算法 原理 


遗传 算法 (Genetic Algoritbms) 是 1962 外 由 美国 Michigan 大 学 Holland 教授 提出 的 模 
拟 月 然 田 遗传 机 制 和 生物 进化 论 而 成 的 一 种 并 行 随机 搜索 最 优化 方法 。 它 把 月 然 界 * 优 胜 劣 
泌 , 适 者 生存 "的 生物 进化 原理 引 人 优 化 参数 形成 的 编 伴 联 群体 中 ,按照 所 选择 的 适应 度 果 
数 并 通过 遗传 中 的 选择 ,交叉 和谈 踢 对 个 体 进 选 , 使 适应 度 值 好 的 个 体 被 保留 . 迁 应 度 差 
的 个 体 被 淘汰 ,新 的 伴 体 既 继承 了 上 一 代 的 信息 ,又 优 于 上 一代。 这 样 反复 循环 , 由 至 满足 条 
件 ， 邀 传 算法 基本 的 操作 分 为 ， 

1. 选择 操作 

选择 操作 是 指 从 旧 群 体 中 以 一 - 定 概率 选 拌 个 体 到 新 梯 体 中 ,个 体 被 选中 的 概率 跟 适 应 度 
值 自 关 , 个 体 适应 度 值 越 好 ,被 选中 的 概率 越 大 。 

2. 交叉 操作 

次 义 操 作 是 指 从 个 体 中 选择 两 个 个 体 , 遂 过 两 个 染色 体 的 交换 组 合 , 米 产 生 新 的 优 范 个 
体 。 交 关 过 程 为 从 群体 中 任 选 两 个 染色 休 , 随 机 选择 -- 点 或 多 点 染色 休 位 置 进行 交换 。 交叉 
操作 如 图 3 -1 所 示 。 


TT00201011111 交叉 A100:01010000 
一 
B:014301010000 BNO 
图 3~1 交叉 操作 


3. 变异 操作 
变异 操作 是 指 从 帮 体 中 任 选 - “个 个 体 ,选择 染色 体 中 的 一 点 进行 变异 以 产生 更 优 秀 的 个 
体 。 变 只 操作 如 图 3 -2 所 水。 


A:100 01011111- 变 秆 A 400 ot011101 


图 3~2 变异 操作 
站 做 算 法 共有 高 效 启发 式 搜索 ,并行 计算 等 等 点 ,目前 由 经 应 用 在 函数 优化 .组 合 优化 以 
及 生产 调度 等 方面 。 
3.1.2 址 传 算法 的 基本 要 于 
遗传 算法 的 基本 要 素 包 括 染 色 体 编码 方法 、 适 应 度 吻 数 . 造 传 操作 和 运行 参数 。 
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其 中 染色 体 编码 方法 是 指 个 体 的 编码 方法 ,日 前 包括 二 进 制 法 、 实 数 法 等 。 制 法 是 指 
把 个 体 编码 成 为 一 个 二 进 制 串 ,实数 法 是 指 把 个 体 编码 成 为 一 个 实数 串 。 
适应 度 攻 雪 是 指 机 项 进化 月 标 编 写 的 计算 个 信和 应 度 人 的 极 数 ,通过 到 应 席 员 数 计算 每 
个 个 体 的 适应 度 值 ,提供 给 选择 算 子 进行 选择 。 
泪 传 操作 是 指 选择 操作 、 交 义 操 作 和 变异 可 作 。 
运行 参数 是 遗传 算法 在 初始 化 时 确定 的 参数 ,主要 包括 群体 大 小 MM, 遗传 代数 ,交叉 概 
率 P, 和 变异 概率 P。。 
3.1.3 拟 合 画 数 
本 案例 拟 合 的 非 线性 函数 为 
y= (3-1) 
该 随 数 的 图 形 如 图 3 -3 所 示 。 
医 线 性 函数 


x2 5 5 x1 


图 3-3 非 线性 函数 图 形 


3.2 模型 建立 


3.2.1 算法 流程 


遗传 算法 优化 BP 神经 网 络 算法 流程 如 图 3-4 所 未。 

遗传 算法 优化 BP 神经 网 络 分 为 BP 神经 网 络 结 均 确定 、 和 遗传 算法 优化 和 BP 神经 网 络 预 
测 3 个 部 分 。 其 中 ,BP 神经 网 络 结构 确定 部 分 根据 拟 合 耳 数 输入 输出 参数 个 数 确定 BP 神经 
网 络 结 构 , 进 而 确定 遗传 算法 个 体 的 长 度 ， 遗 传 算法 优化 使 用 遗传 算法 优化 BP 神经 网 络 的 
权 值 和 阐 值 ,种 群 中 的 每 个 个 体 都 包含 了 一 个 网 络 所 有 权 值 和 辣 值 ,个 体 遂 过 适应 度 函 数 计算 
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遵 传 算法 部 分 BP 神经 网 络 部 分 
箱 入 数据 
J GA 对 初 如 全 编 生 此 ee 
数 撕 玉 处 理 一 一 一 | 
- + 
区 初 娘 BP 神 经 网 
络 权 值 六 什 长度 
| [天 | 基 到 最 优 权 科 加 和 


计算 送 准 [一 一 


| 


变异 操作 权 值 网 值 王 新 


谷中 预测 .得 到 结果 


图 3-4 算法 流程 
个 体 适 应 度 值 ,遗传 算法 通过 选 怪 、 父 叉 和 变 红 操作 找到 及 优 适应 度 值 对 应 不 体 。 BP 神经 网 
络 预 测 用 遗传 算法 得 到 最 优 个 体 对 网 络 初 始 汉人 值 和 贱 什 赋 俩 ,网络 经 训练 后 项 测 也 数 输出 。 
本 案例 中 ,由 于 拟 合 非 线性 函数 有 2 个 输入 参数 .1 个 输出 参数 ,所 以 设置 的 BP 神经 网 络 
结构 为 2 5 一 1, 基 输入 层 有 2 个 节点 , 降 含 民有 了 个 节点 ,输出 层 有 1 个 节点 ， 共 有 2X5 十 


到 2 000 组 给 入 输出 数据 ,从 中 随机 选择 1 900 组 作为 训练 数据 ,用 于 网 络 训练 ,100 
试 数据 。 把 训练 数据 预测 谋 关 绝对 值 和 作为 个 体 适应 度 值 ,个 体 适应 度 值 越 小 ,该 个 


3.2.2 遗传 算法 实现 


遗传 算 优化 BP 神经 网 络 是 用 遗传 算法 米 优 化 BP 神经 网 络 的 初始 权 值 和 阅 信 ,使 优化 
后 的 BP 神经 网 络 能 够 更 好 地 预测 函数 输出 。 遗 传 算 法 优化 BP 神经 网 络 的 要 素 包 括 种 群 初 
始 化 ,适应 度 商 数 、 选 择 操作 、 交 义 操 作 利 变异 操作 。 

1. 种 群 初始 化 

个 体 编码 方法 天 数 编码 ,每 个 个 体 均 为 一 个 实数 申 ,由 输入 屋 与 隐 含 层 连 接 权 信 , 隐 仿 
屋 疯 值 . 隐 含 层 与 输出 层 连 接 权 值 以 及 输出 屋 阐 值 4 部 分 组 成 。 个 体 包含 了 神经 网 络 全 部 权 
值 和 阅 值 ,在 网 络 结构 已 知 的 情况 下 ,就 可 以 构成 -个 结构 . 权 值 . 辐 值 确定 的 神经 网 络 。 

2 适应 度 函 数 

根据 个 体 得 到 BP 神经 网 络 的 初始 权 值 和 国 值 ,用 训练 数据 训练 BP 神经 网 络 后 其 测 系统 


www.iloveMatiab.cn 


YTLYW 六 益 寺 沪 入 染 训 入 车 - 恒 其 证 这 间 犁 呈 洲 区 年 陪 订 


ATi na MATLAB 神经 网 络 30 个 案例 分 析 


产 高 训 训 迁 卫 不 入 半 说 沸 


任 


YN 神 孔 市 训 油 这 证 


ww.ikoveMatlab.cn 


输出 ,把 预测 输出 和 期 单 给 出 之 问 的 误差 绝对 值 和 互 作为 个 体 适 应 度 值 下 ,计算 公式 为 
Pp( lanty, — 0)) (3 2) 
式 中 为 网 络 输 出 节点 数 ;y, 为 BP 神经 网 络 第 守 个 节点 的 期 单 输出 5o 为 第 个 节点 的 项 测 
输出 : 太 为 系数 。 
3, 选择 操作 
遗传 算法 选择 操作 有 和 轮 盘 姥 法 ,锦标赛 法 等 多 种 方法 ,本 案例 远 择 轮 盘 周 法 ,好 基于 适 庙 
度 比 例 的 选择 策略 ,等 个 个 体 ;的 选择 概率 妃 为 


f= kAF, (3 3) 
Pp A 国 (C304) 
> 


成 中 .FF, 为 个 体 i 的 适应 度 值 ， 由 于 适应 度 人 起 小 \ 越 好 ,所 以 在 个 体 选 搓 前 对 适应 度 值 求 倒 
数 ; 友 为 系数 ;N 为 种 珍 个 体 数 日 。 

4. 交叉 操作 

由 二 个 体 采 用 实数 编码 ,所 以 交 义 操作 方法 采 几 实数 交叉 法 ,第 大 个 染色 体 a 和 第 /个 
染色 体 & 在 六 位 的 交 义 操作 方法 如 下 : 


a 


3-85) 
同一 及 -ab 
式 中 必 是 [0.1] 问 的 随机 数 。 
S. 变 蜡 操作 
选取 第 ;个 个 体 的 第 ; 个 基因 a 进行 变异 ,变异 操作 方法 如 下; 
十 (一 ws f(g) rE0.5 
a (3-6) 


a fg) ri0. 
式 中 ,ms 为 基因 的 上 办 a 为 基因 的 上 办 Ha i Goan irs 为 一 个 随机 数 :8 
为 当前 迭代 次 数 最 大 进化 次 数 :r 为 -0.1] 问 的 随机 数 。 


3.3 编程 实 规 


根据 遗传 算法 和 BP 神经 网 络 理论 ,在 MATLAB 软件 中 编程 实现 基于 遗传 算法 优化 的 
BP 神经 网 络 非 线性 系统 拟 合算 法 。 滥 传 算 汰 参数 设置 为 :种 赔 规 模 为 10, 进 化 次 数 为 50 次 ， 
交 义 概率 为 0.4, 变 异 概率 为 0.2。MATLAB 代码 如 下 。 


3.3,1 适应 度 函 数 
适应 度 随 数 用 训练 数据 训练 BP 神经 网 络 `. 玫 此 把 训练 数据 顶 测 误差 作为 个 休 适 虚度 值 。 


function error = fun(x.inputnun,hiddennun,outputnun, net, inputn, outputn) 
该 函数 用 来 计算 适应 度 值 

Sx input 个 体 

inputnun input 输入 层 节点 数 

% outputnum input 隐 含 层 节 点 数 
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% net input 网 络 
% inputn input 训练 输入 数据 
& outputn input 训练 输出 数据 


% error output 个 体 适 应 度 值 


名 BP 神经 网 络 初始 权 值 和 赋值 ,x 为 个 体 

wl = x(13: inputnum yx hiddennun)i 

Bl = x( inputnun * hiddennum + 1: inputnun x hiddennun + hiddennun) ; 

“2 7 XCinputnun # hiddennum + hiddennun + 1 :inputnun » hiddennun + hiddennun + hiddennun » output- 
noun); 

B2 = x( inputnun * hiddennun + hiddennum + hiddennum « outputnun + 1: inputnun * higdennun + hidden- 


mum + hiddennun # outputnum + outputnum) ; 


济 绕 


net. iwn{1,1} = reshape{wl +hiddennum, inputnum) 
net. ln{2.1} = reshape(n2， outputnum, hiddennum) ; 
net. bf1) = reshape(B1 ,hiddennun,1); 

net. bf2)》 = B23 


包 BP 神经 网 络 构建 
met = newff( inputn, outputn, hiddennum) ; 


net. trainparam. epochs = 2 
net. trainparan. lr = 0.1; 
net, trainparan. goal = 0. 00001; 
net. trainparan, show = 100; 
net .trainParam showHindow = 


名 BP 神经 网 络 训练 


net = train(net, inputn, outputn); 


和 BP 挤 经 网 络 预 测 


an= sin(net,inputn)i 


预测 误差 和 作为 个 体 适应 度 值 


error = sun(abs(an - outputn)); 


3.3.2 选择 操作 
选择 操作 采用 轮 盘 赌 法 从 种 群 中 选择 适应 度 好 的 个 体 组 成 新 种 群 。 
function ret = selectt individuals, sizepop) 
s$ 该 函数 用 于 进行 选择 操作 
多 individuals input “种群 信 息 


% sizepop input 种 群 规 模 
% ret eutput ”选择 后 的 新 种 群 
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* 求 适应 度 值 倒 数 


fitnessl = 10. /individuals.fitness; 和 individuals. fitness 为 个 体 适应 度 值 


和 个 体 选 择 概率 


sunfitness = Sun(fitnessl)i 


sunf = fitness1. /sumfitnessi 


# 采 用 轮 盘 赌 法 选择 新 个 体 


index= [J], 


Pick = rand; 


while pick ==0 
pick = rand; 

end 

for i = 1:sizepop 
pick = pick ~ sunf( 
if pick<<0 


Ds 


index = [index i]; 


break; 
end 
end 


end 


多 新 种 群 


individuals. chrom = individuals. chront index, :); 


individuals. fitness = individuals. fitness( index); 


ret = individuals; 


3.3.3 交叉 操作 


% sizepop 为 种 群 数 


% individuals. chron 为 种 群 中 个 体 


交叉 操作 从 种 群 中 选择 两 个 个 体 , 接 一 定 概率 交 义 得 到 新 个 体 。 


function ret = Cross(pcross, lenchron, chron:sizepop, bound) 


#% 该 函数 用 于 进行 交叉 操作 
% pcorss 

% lenchrom 

更 chrom 
% sizepop 
% ret 


input 
input 
input 
input 
output 


交叉 概率 
个 体 长 度 
种 群 个 体 
种 群 规 模 


交叉 后 的 新 种 赂 


for 1i= 1,sizepop 名 sizepop 为 种 群 个 体 数 自 


% 选择 选择 两 个 个 体 
Dick = rand(1,2); 
while prod(pick) 
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end 


Pick = rand(1,2); 


index = ceil(pick. * gizepop); 


上 判断 是 否 交叉 


pick = rands 


while pick ==0 


end 


Pick = rand; 


证 pick>pcross ”名 peross 为 交叉 概率 


end 
flag= 0 

while flag == 0 
选择 交叉 位 置 


end 
end 


continues 


pos = ceil(pick. x sum(lenchron)); 多 lenchrom 为 个 体 长 度 


个 体 交 叉 

Bick = rand; 

v1 = chron index(1) ,pos); 

v2 = chrom index(2) ,pos)}s 

Chront index(1) ,pos) = pick x v2 + (1 - pick) # vl; 
chron( index(2) ,pos) = pick yw v1 + (1— pick) x v2; 


包 测 试 新 个 体 是 否 满足 约束 要 求 
flagi = test( lenchrom, bound, chron( index(1),:)); 
flag2 = test(lenchron, bound,chrom( index(2),:))s 
if flagl*flag2== 

flag= 0; 
else flag= 1 
end 


ret = chroms 


3.3.4 变 


变 措 操作 从 种 群 中 随机 选择 一 个 个 体 , 按 一 定 概 


function ret = Mutation(pmutation, lenchrom,chron, sizepop, num, maxgen, bound) 


蜡 操 作 


该 沙 数 用 于 完成 变异 操作 


% peorss 


input ”变异 概率 


异 得 到 新 个 体 。 
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% lenchrom input 个 体 长 度 
% chrom input 种 群 个 体 
% Sizepop input 种 群 规模 
% bound input 。 个体 上 界 和 下 如 
% maxgen input ”最 大 先 代 次 数 
% mum input ”当前 迭代 次 数 
% ret output ”交叉 后 地 新 种 群 
for i=1;3izepop ”名 sizepop 为 种 群 数 
变异 概率 
pick = rand; 
while pick ==0 
pick = rands 
end 
index = ceil(pick x sizepop)} 
# 判断 是 否 变 异 
pick = rand; 
if pick>pmutation 名 pmutation 为 变异 概率 
continues; 
end 
flag= 0 
while flag==0 
名 随 机 选择 变异 位 置 
pick = rands 
while pick == 
pick = randy 
end 
pos = ceil(pick x sun(lenchrom)); 名 lengchzon 为 个 体 长 度 
变异 操作 
Y= chron(i,pos)s 
v1=v- bound(pos,1)s 
v2 = bound(pos,2) -vs 
pick = randi 
fg= (rand (1~ num/naxgen))-2; ”nun 遍 传 算法 当前 近代 次 数 ,naxgen 总 选 代 次 数 
if pick>0.5 
chron(i,pos) = chrom( 1,pos) + (bound( pos,2) - chromti, pos)) « fg; 
else 


end 


ret 


chrom(i,pos) = chrom(i,pos) — (chrom(i,pos) - bound(pos,1)) * fgs 


end 


flag = test(lenchrom,bound,chron(iy:))5 


end 


= chrom; 


# 新 个 体 是 否 满足 约束 要 求 
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3.3.5 遗传 算法 主 函 数 
遗传 算 法 主 扬 数 流程 为 
步 缀 1: 随 机 初始 化 种 群 ; 
步骤 2: 计 算 种 群 适应 度 值 ,从 中 找 出 最 优 个 体 ， 
步 驼 3: 选择 措 作 ， 
步骤 4: 交叉 操 作 ; 
步骤 5; 变 异 操作 ; 
步骤 6: 判断 进化 是 否 结 末 , 若 否 , 则 返回 步骤 2。 
主机 数 MATI.AB 代 公 主 要 部 分 如 下 。 其 中 化 线 性 函数 的 输入 输出 数据 都 在 data mat 
文件 中 :input 短 阵 为 输入 数据 ,output 人 阵 为 输出 数据 。 
清空 环境 安 量 


cle 


clear 


入 读 肥 数据 
load data input output 


名 网 络 结构 
inputnun = 2; 
hiddennun = 5 
outputnum = 1 


s$ 取 训练 数据 和 痪 测 数据 
input_train = input(1:1900，:)4 
input_test = input {1901,2000, :)'; 


output_train = output(1:1900)"; 
output_test = output(1901 :2000)"; 


数据 归 一 化 
[Linputn, inputps] = mapminmaxt input_train); 
Loutputn, outputps) = rapninnax( output_train) ; 


名 构建 网 络 

net = newff( inputn, outputn, hiddennum) 
遗传 算法 参数 初始 化 

maxgen = 50， 和 迭代 次 数 
sizepop = 103 种 群 规模 
pcross = [0. 4]; 名 交叉 概率 
pmutation= [0. 2]; 多 变异 概率 


节点 总 数 
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numsun = inputnum x hiddennum + hiddennum + hiddennun * outputnum + outputnums 


lenchrom = ones( 1 ,numsun)’s 名 个 体 长 度 
bound = 上 — 3 « ones(nunsum,1) 3 * ones(numsum, 1)]; 多 个 体 范围 


名 种 群 信息 定义 为 结构 体 


individuals = struct( fitness',zerost1,sizepop}, 'chron’,[ 1); 


avgfitness = [1; % 每 代 平均 适应 度 值 
bestfitness=[]; 和 每 代 最 佳 适 应 度 值 
bestchrom = 多 最 优 个 体 


% 计算 个 体 适 应 度 值 
for i=1;:sizepop 
s 个体 初 始 化 


individuals. chrom(i, :) = Code(lenchromypound) 


名 计算 个 体 适应 度 值 
x = individuals. chrom(i,:): 
individuals. fitness(1) = fun(x, inputnum, biddennun, outputnun, net, inputn, out putn) 5 


end 


% 过 代 寻 优 


for + = 1;maxgen 


选择 操作 
individuals = Select(individuals, sizepop); 


* 交叉 操作 

individuals. chron = Cross(peross, lenchron, individuals. chrom, sizepop, bound) ; 
名 变异 操作 

individuals. chron = Mutation(pmutation, lenchron, individvals. chronm, sizepop, i, 
maxgen, bound) } 


名 计算 适应 度 值 


for j= 


sizepop 
individuals.chrom(j,:); 名 个 体 


individuals. fitness(j) = fun(x, inputnun, hiddennun, outputnun, net, inputn, output ni 


end 


到 寻找 最 优 最 差 个 体 
[newbestfitnesevnewbestindex] = nin( individuals.fitness)4 


[worestfitness,worestindex] = max( individuals. fitness)s 


$% 最 优 个 体 更 新 
if bestfitness>>newbestfitness 
jestf itness = newbestfitness 
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bestchron = individuals. chromtnewbestindex, :); 


end 


individuals. chron( worestindex, ;) = bestchrom: 


individuals. fitness(worestindex) = bestfitnessi 


记录 最 优 个 体 适应 度 值 和 平均 适应 度 值 
aygfitness = sum( individuals, fitness) /sizepops 


trace= [traceiavgftitness bestfitness]; 


end 


3.3.6 道人 和 传 算 法 优化 的 BP 神经 网 络 画 数 拟 合 
把 中 传 算法 得 到 的 最 优 个 体 赋 给 BP 神经 网 络 ,用 该 网 络 拟 合 非 线性 函数 。 


把 最 优 个 体 x* 颖 给 BP 神经 网 络 权 值 和 阔 值 

x = bestchron 

码 =x(1rinputoum x hiddennum); 

Bl = x(inputnum x hiddennum + 1 :inputnum « hiddennun + hiddennum)i 

2 Xinputnum * hiddennun + hiddennun + 1, inputnun * hiddennun + hiddennun + hiddennun x output- 
num); 

B2 = x(inputnum x hiddennum + hiddennum + hiddeanun + outputnum + 1: inputnum * hiddennum + hidden- 


um + hiddennun * outputnun + outputnun) 


net. iwil,1} = reshape(wl ,hiddennum, inputnum)i 
net. lu{2,1} = reshape(w2,outputnun, hiddennum) ; 


net. b{1} = reshape(B1 ,hiddennua,1); 
met ,bf2} = B2; 
%BP 神经 网 络 参数 


net. trainParam, epochs = 100; 
net, trainparan. lr = 0.1; 
Ynet, trainparan. goal = 0.00001; 


多 BP 神经 网 络 训练 


[net,per2] = train(net, inputn,ovtputn); 


和 BP 圳 经 网 络 鬼 测 
inputn test = mapninmax(' apply', input_test, inputps); 
an = sin(net, inputn test); 


s 预测 结果 反 归 -化 


test_simu = mapninmax(' reverse',an, outputps); 


3.3.7 结果 分 析 
遗传 算法 优化 过 程 中 最 优 个 体 适应 度 值 变 化 如 图 3 -5 所 示 。 
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0 0 5 20 25 30 35 4 45 50 
进化 次 数 
图 3-5 最 优 个 体 适应 度 值 
遗传 算法 优化 得 到 的 BP 神经 网 络 最 优 初始 权 值 和 阔 值 如 表 3. 1 所 列 。 
表 3.1 最 优 初 始 权 值 阔 值 


和 输入 民 隐 含 居 间 权 值 | 六 3315 1 3334 2.5488 0.5446 | 1.9225 | 0.5281 | 0.2022 | 一 0164 引 -10571| 0.4141 


1.5894 | 2.9788 | 3099 1.7524 | 21923| 


-27868| 02763 ost78 |—1.6147) 2.1314 


EH 让 交往 | 1.0626 | 


把 最 优 初始 权 值 和 测 值 赋 给 神经 网 络 ,用 训练 数据 训练 100 次 后 顶 测 非 线性 也 数 输出 , 韦 
测 误差 如 图 3 -6 所 示 。 

从 图 3-6 可 以 看 出 .遗传 算法 优化 的 BP 网 络 顶 测 更 加 精确 ,并 及 遗传 算法 优化 BP 网 络 
预测 的 均 方 误差 为 5, 370 4X10“, 面 林 优 化 BP 网 络 的 均 方 误 雌 为 1.887 6X10“, 顶 测 均 方 
误 益 也 得 到 了 很 大 改善 。 


3.4 案例 扩展 


3.4.1 其 他 优化 方法 


遗传 算法 优化 BP 神经 网 络 的 日 的 是 通过 遗传 算 达 得 到 殉 好 的 网 络 初 始 权 值 和 阅 值 , 共 
基本 思想 就 是 用 个 体 代表 网 络 的 切 始 权 值 和 赔 值 个 体 值 初始 化 的 BP 神经 网 络 的 预测 误 养 
作为 该 个 体 的 适应 度 值 ,通过 选择 .交叉 、 变 疆 操 作 导 找 最 优 个 体 , 即 最 优 的 BP 神经 网 络 切 始 
权 值 。 除 了 遗传 算法 之 外 ,还 可 以 采用 粒子 群 算法 , 蚁 群 算 法 等 优化 BP 神经 网 络 初始 权 值 。 


第 3 闽 放 信和 昨 站 代 化 BD 神经 月 络 。 皇 1] 
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图 3-6 GA 优化 BP 网络 预 测 误差 
本 案例 同时 实现 了 基于 PSO 算 法 (粒子 群 算法 ) 的 BP 神经 网 络 权 贷 网 值 优化 ,每 个 粒子 代表 
了 神经 网 络 的 权 值 和 阔 值 ,通过 粒子 好 优 找到 网 络 最 住 的 初始 权 值 和 阅 值 。 粒 子 群 算法 只 体 
操作 方法 见 第 27 章 , 基 本 参数 为 :种 群 规模 为 30, 进 化 次 数 为 50 ,粒子 群 算法 优化 过 程 中 最 优 
个 体 适应 度 值 变化 过 程 如 图 3-7 所 示 。 
_ 城 优 个 体 适 以 度 汗 


3.51 -一 一 一 -一 + 一 


3.0| 1 


2.5 


适应 度 值 


图 3-7 PSQ 算法 优化 过 程 
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把 PSO 算法 得 到 的 最 优 初始 权 值 和 阐 值 赋 给 神经 网 络 , 凡 训练 数据 训练 100 次 后 预测 非 


线性 区 数 输 出 , 顶 测 误差 如 图 3-8 所 示 。 
PSO 侦 浏 庶 站 


0 10 20 30 40 50 
样本 


图 3-8 PSO 算法 预测 误差 


从 预测 结果 可 以 看 出 ,基于 PSO 优化 的 BP 神经 网 络 韦 测 误 茵 更 小 ， 
经 网 络 预 测 精 度 效果 优 于 GA 算法 优化 BP 神经 网 络 预 测 精度 。 


3.4.2 网 络 结构 优化 


60 7 8 9 100 


PSO 算法 优化 BP 神 


有 学 者 研究 了 基于 遗传 算法 优化 的 BP 神经 网 络 结构 优化 算法 ,用 遗传 算法 优化 BP 神经 
网 络 隐 含 层 节点 数 日 ,对 于 时 间 序 列 预测 问题 ,还 串 以 用 于 优化 输入 层 季 点 数 。 对 于 结构 优化 
问题 ,种 群 个 体 采用 一 进 制 编码 ,适应 度 函 数 为 顶 测 误差 ,通过 选择 .交叉 和 变异 操作 得 到 BP 
神经 网 络 最 优 结构 。 但 是 对 于 结构 优化 算法 ,出 十 权 值 疯 值 随机 初始 化 ,相同 结构 网 络 每 次 巴 


测 结果 都 不 相同 ,内 此 算法 优化 效果 有 限 。 有 学 者 提出 一 种 用 让 传 算 法 


同时 优化 BP 神经 网 


络 结构 和 权 值 的 算法 ,个 体 编码 分 为 两 部 分 ,前 面部 分 表示 网 络 结 构 .后面 一 部 分 表示 权 值 ， 


但 是 由 于 个 体 长 度 不 相同 ,个 体 间 无 法 进行 交叉 操作 ,下 此 该 方法 的 可 用 
3.4.3 算法 的 局 限 性 
遗传 算法 优化 BP 神经 网 络 是 对 普通 BP 神经 网 络 的 -种 优化 方法 ， 


性 不 高 。 


如 果 把 BP 神经 网 络 


看 成 是 一 个 预测 函数 ,遗传 算法 优化 BP 神经 网 络 相 当 于 优化 顶 测 函 数 中 的 参数 ,优化 后 BP 


神经 网 络 的 顶 测 效果 一 般 优 于 林 优 化 的 BP 网 络 。 但 是 该 算法 是 有 局 限 


性 的 , 它 只 能 有 限 提 


高 原 有 BP 神经 网 络 的 预测 精度 ,并 不 能 把 项 测 误差 较 大 的 BP 神经 网 络 优化 为 能 够 准确 预测 


的 BP 神经 网 络 。 尤 其 对 一 些 因为 样本 数量 少 . 样 本 分 布 不 均匀 而 造成 记 
的 问题 ,优化 后 的 网 络 预 测 能 力 一 般 不 能 得 到 明显 提高 。 


经 网 络 预 测 误 其 大 
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第 4 章 神经 网 络 遗 传 算法 函数 极 值 寻 优 
| 一 一 非 线性 函数 极 值 寻 优 


4.1 染 例 稼 景 


对 于 未 知 的 非 线性 阔 数 , 仅 通过 函数 的 输入 输出 数据 难以 准确 寻找 函数 极 值 。 这 类 问题 
可 以 通过 神经 网 络 结合 遗传 算法 求解 ,利用 神经 网 络 的 非 线 性 拟 合 能 力 和 遗传 算法 的 非 线性 
寻 优 能 力 寻 找 函 数 极 慎 。 本 章 用 神经 网 络 遗 传 算 法 村 优 如 下 频 线 性 隆 数 极 值 ,该 孙 数 表达 
式 为 
y= (4-1) 
孙 数 的 图 形 如 图 4 一 1 所 示 。 


x2 5 5 x1 


图 4-1 非 线性 函数 图 形 
从 业 数 方程 和 图 形 可 以 看 出 ,该 治 数 的 金 局 最 小 值 为 0, 对 应 的 坐标 为 (0,0)。 虽然 从 函 
数 方 程 和 图 形 中 很 容易 找 出 函数 极 什 及 极 值 对 应 举 标 ,但 是 丰 卫 数 方 积 林 知 的 情况 下 函数 极 
秆 及 极 值 对 应 坐标 就 很 难 找到 。 


第 1 部 神经 网 络 遗 传 算法 函数 极 值 寻 优 


4.2 模型 建立 


神经 网 络 站 传 算法 函数 极 值 注 优 主要 分 为 BP 


步 ,算法 流 程 如 网 4-2 所 示 。 


ssnnant fffuFins 
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经 网 络 训练 拟 合 和 遗传 算法 极 值 闭 优 两 


BP 
神经 
网络 
构建 


系统 建 异 


[3 
构建 合适 的 BP 
| 


BP 
神经 
网 络 
训练 


本 
BP 神经 网 络 


初始 化 
3 


Br 串 经 网 络 训练 | 一 


BP. 
济 经 
网 络 
揣测 


[3 


测试 数据 


| 


BP 神经 网 络 测 


览 司 蚊 基 


大 


落 芝 党 硅 


种 伴 初 始 化 


证 计算 适应 座 值 


选择 


Gi 


图 4-2 算法 流程 图 

神经 网 络 训练 拟 合 根据 辽 优 所 数 的 特点 构建 介 适 的 BP 神经 网 络 . 用 非 线 性 阴 数 的 输入 
输出 数据 训练 BP 神经 网 络 ,训练 后 的 BP 神经 网 络 就 本 以 预测 项 数 输出 。 浪 传 算法 极 值 寻 优 
把 训练 后 的 BP 神经 网 络 顶 测 结 打 作 为 个 体 适应 度 值 ,通过 选择 、 交 义 和 变 异 操作 寻找 函数 的 
全 局 最 优 值 及 对 应 输入 值 。 

对 于 本 案例 来 说 ,根据 非 线性 晒 数 有 2 个 输入 参数 .1 个 输出 参数 ,确定 BP 神经 网 络 结构 
为 2 5 1。 取 明 数 的 4000 组 输入 输出 数据 .从 中 随机 选取 3 900 组 数据 训练 网 络 ,100 组 数 
据 测 试 网 络 性 能 .网络 训练 好 后 用 于 预测 非 线性 郴 数 输出 。 

丫 传 算法 中 个 休 采 用 实数 编码 , 山 于 池 优 函数 具 和 2 个 输入 参数 ,所 以 个 体 长 度 为 2。 个 
体 适 应 度 值 为 BP 昼 经 网 络 预测 值 ,适应 度 值 越 小 .个 体 越 优 。 选 择 算 节 、 交 叉 算 子 和 变异 算 
了 同 第 3 章 介 绍 各 算 子 一 致 ,交叉 概率 为 0.4. 变 异 概率 为 0.2。 


4.3 编程 实现 


恨 据 神经 网 络 和 遗传 算法 原型 .在 MATILAB 中 编程 实现 神经 网 络 和 遗传 竺 法 卡 线 性 冰 数 


过 优 。 


沪 焊 
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4.3.1 BP 和 神经 网 络 训练 


几 隆 数 输入 输出 数据 训练 BP 神经 网 络 ,使 训练 后 的 网 络 能 够 拟 合理 线性 图 数 输出 ,保存 训 
练 好 的 网 络 用 于 计算 个 体 适 应 度 值 。 根 据 非 线性 明 数 方程 随机 得 证 该 晒 数 的 4 000 组 输入 输出 
数据 ,存储 于 data 中 ,其 中 input 为 孙 数 输入 数据 ,output 为 晒 数 对 应 输出 数据 ,从 中 随机 抽取 
3 900 组 训练 数据 训练 网 络 ,100 组 测试 数据 测试 网 络 氢 合 性 能 。 圾 后 保存 训练 好 的 网 络 。 


下载 输入 输出 数据 
load data ipput output 


和 从 1 到 4000 随机 排序 
x= Irand(l,4000)5 
[msn] = sort(k); 


与 找 出 训练 数据 和 币 测 数据 

input_train = input(n(1 :3900),:)"; 
eutput_train = output (nt1;3900) 
input_test = input (n(3901:4000), ; 
output_test = output (n(3901:4000) ,+)'; 


多 数据 归 一 化 
[Linputn, inputps] = mapninmax( input_train) 


[outputn,outputps] = mapminmax(output_train); 


% 构建 BP 十 经 网 络 
met = newff( inputnvoutputn,5)1 


net.trainParam. epochs = 100; 


pet. trainparam. lr = 0.1; 
net. trainparan. goal = 0.0000004; 


BP 神经 网 络 训练 


net = train(net, inputn, outputn); 


$ 测试 样本 归 一 化 


inputn_test = mnapminmax( apply', input_test, inputps); 


BP 神经 网 络 预 测 


an = sin(net, inputn. test); 
预测 结果 反 归 一 化 BPoutput = mapminmax(' reverse',an,outputps); 


汪 网 络 存储 


save data net inputps outputps 
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网 络 预 测 图 形 

figure(1) 

plot (BPoutput,':0g') 

hold on 

Plot(output_ test, 一 xi 

legend(' 预 测 输出 ，' 期 望 输出 ', fontsize',12) 
titlel' BP 网 络 预测 输出 ' fontsize',12) 
xlabel(' 样 本 ',' fontsize',12) 

yaabel( 输出 ，fontsize',12) 


4.3.2 适应 度 函 数 
把 训练 好 的 BP 神经 网 络 顶 测 输出 作为 个 体 适应 度 值 。 


function fitness = fun(x) 

$$ 计算 个 体 适应 度 值 

Sx input 个 体 

% fitness output 个 体 适应 度 值 


神经 网 络 下 载 


load data net inputps outputps 


输入 数据 归 一 化 
inputn. test = napminmax(' apply ',x, inputps)} 第 x 为 个 体 


神经 网 络 巴 测 


an= sin(net, inputn_test)s 


多 预测 数据 反 归 … 化 做 为 适应 上 度 值 


fitness = napminnmax(' reverse',an,outputps); 


4.3.3 着 传 算法 主 殉 数 


遗传 算法 主 限 数 MATLAB 代码 如 下 。 


% 清空 环境 变量 

cle 

clear 

遗传 算法 参数 

maxgen = 100; 外 进化 次 数 
Sizepop = 20; 名 种 铬 规模 
pcross = 0.4; 名 交 义 概率 
pmutation= 0.2; $ 变异 概率 


lenchrom = [1 1]; “每 个 变量 长 度 
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bound=[-554-55]， 市 蛮 世 边界 
individuals = struct( fitness'zeros(1,sizepop)，'chrom',[3); 名 种 群 信息 结构 体 
avgfitness = []s 种 群 每 代 平均 适应 度 值 
bestfitness = []; #% 种 群 每 代 最 优 适应 度 值 
bestchromn= []; # 最 优 个 体 
# 初始 化 个 体 
for i= 1:sizepop 
和 个体 初始 化 
individuals. chron(i,:) = Code( lenchrom, bound)s 


x = individuals. chron(i, +); 

个 体 适 应 度 值 

individuals. fitness(i) = fun(x)s; 
end 


s 寻找 最 优 个 体 


[bestfitness bestindex] = mint individuals. fitness]i 


bestchron = individuals. chron( bestindex, :); 
avgfitness = sum( individuals. fitness)/sizepop; 平均 适应 度 值 
和 记录 最 优 适 应 度 和 平均 适应 度 


trace= [avgfitness bestfitness]; 


外 迭代 开始 
for 1 = 1tmaxgen 
选择 操作 
individuals = Select( individuals, sizepop) 1 
avgfitness = sun(individuals. fitness)/sizepop; 
交叉 操作 
individuals. chron = Cross(pcross, lenchron, individuals. chrom, sizepop, bound); 
变异 操作 
individuals. chron = Mitation( pnutation, lenchrom, individuals. chrom, sizepop’[ i maxgen] ,bound) ; 


计算 适应 度 值 
for j= 1:sizepop 
x= individuals chrom(j, :); 


individuals.fitness(j)y = fun(x); 
end 


测 训 准 娄 和 证 小 玫 HYTIVN 知 异 市 芒 疝 晨 放 六 天 过 本 源 守 定 省 时 于 直 于 过 防 哇 


* 找 最 优 和 最 差 个 体 


[newbestfitnessynewbestindex] = min(individuals. fitness); 


， [norestfitness.worestindex] = maxt individuals. fitness); 


| 40 | 更 新 最 优 个 体 
证 bestfitness>newbestfitness 


bestfitness = newbestfitnessi 


bestchron = individuals. chrom( newbestindex, :); 
end 
individuals. chrom( worestindex, ;) = bestchrony 
individuals. fitness(worestindex) = bestfitness: 


入 下 神经 网络 迁 侍 并 法 琴 玫 反 值 夺 代 一 于吉 以 王族 本 4 人 nnB 
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avgf itness = sum( individuals. fitness) /sizepop; 


* 记录 该 代 最 优 适应 度 和 最 差 适 应 度 
trace = [traceiavgfitness bestfitness]; 


end 


遗传 算法 进化 过 程 曲 线 

figure(1) 

plot(trace( : ,2)) 
title( 通 应 度 变化 曲线 ',' fontsize',12) 
xlabel(' 进 化 次 数 ''' fontsize',12) 
Ylabel( 适 应 度 '," fontsize',12) 


4.3.4 结果 分 析 


1. BP 神经 网 络 拟 合 结果 分 析 

本 案例 中 个 体 的 适应 度 值 为 BP 神经 网 络 预 测 值 ,因此 BP 神经 网 络 质 测 精度 对 于 最 优 位 
置 的 寻找 具有 非常 重要 的 意义 。 由 于 寺 优 非 线性 函数 有 2 个 输入 参数 .1 个 输出 参数 ,所 以 构 
建 的 BP 神经 网 络 的 结构 为 2- 5 一 1。 共 下 非 线性 函数 4 000 组 输入 输出 数据 ,从 中 随机 选择 
3 900 组 数据 训练 BP 神经 网 络 ,100 组 数据 作为 测试 数据 测试 BP 神经 网 络 拟 合 性 能 , BP 神 
经 网 络 预测 输出 和 期 望 输出 对 比如 图 4-3 所 示 。 
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图 4-3 网 络 预测 输出 


YTLY 池 鹿 水 访 凡 小 座 注 攻 汪 " 症 凑 高 市 刘 符 卫 闲 秆 和 辣 院 潭 


/has 


YILY 守 也 市 部 沿 小 前 说 攻关 芹 净 证 这 放 得 吕 扫 革 和 斗 济 洲 


目 
[3 


MATLAB 神经 网 络 30 个 巡 例 分 析 


wow tove Motiob.cn 
从 BP 神经 网 络 预 测 结果 可 以 看 出 ,BP 神经 网 络 可 以 准 忽 预测 非 线性 丽 数 输出 ,可 以 把 
网 络 预测 输出 近似 看 成 函数 实际 输出 。 
2. 遗传 算法 寻 优 结果 分 析 


BP 神经 网 络 训练 结束 后 ,可以 用 泪 传 算法 入 找 该 非 线性 随 数 的 最 小 值 ,中 传 算法 的 选 代 
次 数 是 100 次 ,种群 规模 是 20, 交 叉 概率 为 0, 4, 变 异 概率 为 0.2, 采 几 浮 点 数 编码 ,个 体 长 度 
为 2, 优 化 过 程 中 最 优 个 体 适 应 度 值 变化 曲线 如 图 4 -4 所 页。 
1 加 
og | 
08r ! 
! 
i 
04r i 
机 
03| |! 
0.2 | 
0.1 1 
0 0 
进化 代数 
图 4-4 适应 度 变化 曲线 


遗传 算法 得 到 的 最 优 个 体 适应 度 值 为 0.020 6, 最 优 个 体 为 [0.000 3 一 0.009 0J. 坡 优 个 
体 适 应 度 值 同 非 线性 声 数 实际 最 小 值 0 和 最 小 值 对 应 促 标 (0,0) 入 常 接近 ,说 明了 该 方法 的 有 有 


4.4 案例 扩展 


4.4.1 工程 实例 


本 案例 所 使 用 的 方法 有 比较 重 最 的 工程 应 用 价值 ,比如 对 庶 其 项 试验 来 说, 试验 目的 是 得 
到 最 大 试验 结果 对 应 下 的 试验 条 件 。 伺 是 山寺 时 间 和 经 费 限制 .该 试验 只 能 进行 有 限 次 .可 能 
单 靠 坛 验 结果 找 不 到 最 优 的 试验 条 件 。 这 时 可 以 在 已 知 试验 数据 的 基础 上 ,通过 本 案例 介绍 
的 神经 网 络 遗 传 算法 寻找 最 优 试验 条 件 。 思 路 为 首先 根据 试验 条 件数 和 试验 结果 数 确定 BP 
神经 网 络 结构 ,然后 把 试验 条 件 作为 输入 数据 ,试验 结果 作为 输出 数据 训练 BP 网 络 ,训练 后 
的 网 络 就 可 以 预测 一 定 试验 条 件 下 的 试验 结果 。 然 后 把 试验 条 件 作为 遗传 算法 中 种 群 个 体 ， 
把 网 络 预 测 的 试验 结果 作为 个 体 适 应 度 值 ,通过 遗传 算法 推 妾 明 优 试验 结果 及 其 对 应 试验 条 
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件 。 己 知 实验 数据 如 表 4.1 所 列 。 


表 4.1 实验 数据 
实 哈 杀 从 实验 结果 
| 天 用 AT 旅 加 物 vkg 时 间 生 产 最 kg 
站 0 1 708 30 258 
| 10 站 【FOOD 0 272 | 
3 0 1700 60 312 
30 [9 1 700 0 363 "| 
| o ba - L650 80 360 
二 10 1 700 40 493 | 
| 得 45 本 700 60 605 
o 20 L730 6 100 
10 HH ] 6 40 464 
10 15 1 7D0 0 B27 
10 20 L750 8 406 | 
加 5 730 四 300 
30 10 1 650 380 519 | 
30 15 1 300 6 662 
30 3 1 850 80 50 了 | 
四 而 1750 0 5 
50 3 1 3700 G0 712 
| 30 20 1 700 0 553 
在 试验 中 获得 的 最 大 实验 结果 为 ?12, 对 应 的 实验 条 件 为 [50 15 1 700 604。 在 实验 
数据 的 基本 开 , 采 用 神经 网 络 遗 传 算法 斗 优 。 选 择 的 BP 网 络 结构 为 4 -10 工 ,遗传 算法 的 和 迭 
代 次 数 是 100 次 ,种群 规模 是 20 ,交叉 概 率 0.4 ,变异 慨 率 0. 2, 采 用 浮 点 数 编码 ,个 体 长 度 为 
4 最 后 得 到 的 最 优 实验 结果 为 745 ,对 应 的 输 条 件 为 -42.2 16.6 1692.6 64. ,该 结果 


可 以 为 最 优 实验 条 件 的 选择 提供 参与 。 
4.4.2 预测 精度 探讨 


BP 神经 网 络 戎 测 精度 的 好 坏 和 寻 优 结果 有 善 密 切 的 关系 。BP 神经 网 络 顶 测 越 准 确 , 如 
优 得 到 的 最 优 值 越 接近 实际 最 优 值 , 这 就 需要 在 网 络 训练 时 采用 尽 可 能 多 的 训练 样本 。 笔 者 
曾经 做 过 两 个 类 似 问 题 , 一 个 是 子 找 3 输入 4 输出 系统 的 最 大 输出 对 应 最 优 输入 值 ,训练 样本 
多 达 上 万 .神经 网 络 预 测 效 果 非 常 好 ,最 后 得 到 斋 测 最 优 值 和 真实 最 优 值 非 常 相 近 ,误差 在 
10 扣 以内。 一 个 中 寻找 3 输入 3 输出 系统 的 最 大 输出 对 应 输入 值 ,训练 样本 内 有 三 让 多 ,神经 
网 络 顶 测 的 误差 较 大 ,级 后 寺 优 得 到 的 最 优 值 和 最 优 值 的 误差 在 20% 以 上 。 并 日 由 于 
BP 神经 网 络 的 拟 合 性 能 的 局 限 性 ,并 不 是 所 有 的 系统 都 能 够 用 BP 神经 网 络 精确 表达 ,在 方 
法 使 用 上 应 该 加 以 注意 。 
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第 今 章 基于 BP_Adaboost 的 强 分 类 器 设计 
公司 财务 预警 建 模 


5.1 归 例 闪 景 


5.1.1 BP Adaboost 模型 


Adaboost 算法 的 思想 是 合并 多 个 * 弱 "分 类 器 的 输出 以 产生 有 效 分 类 。 其 主要 步骤 为 :省 
先 给 出 器 学 习 算 法 和 样本 空间 (x.y) ,从 样本 空间 中 找 出 mx 组 训练 数据 ,每 组 训练 数据 的 权重 
都 是 1/m。 然 后 用 齐 学 半 算 法 送 代 运 算 人 次 ,每 次 运算 后 部 按照 分 类 结果 更 新 训练 数据 权重 
分 布 ,对 于 分 类 撩 败 的 训练 个 体 赋予 较 大 权重 ,下 一 次 选 代 运算 时 更 加 关注 这 些 训练 个 体 。 器 
分 类 器 通过 反复 选 代 得 到 一 个 分 类 函数 序列 广 , 户 …… 广 ,每 个 分 类 函数 赋予 一 个 权重 ,分 类 
结果 越 好 的 函数 ,其 对 应 权重 越 大 。T 次 选 代 之 后 ,最 终 强 分 类 旺 数 下 由 弱 分 类 函数 加 权 得 
色 。BP_Adaboost 模型 即 把 BP 神经 网 络 作为 弱 分 类 器 ,反复 训练 BP 神经 网 络 预测 样本 输 
出 ,通过 Adaboost 算法 得 到 多 个 BP 神经 网 络 弱 分 类 器 组 成 的 强 分 类 器 。 


5.1.2 公司 财务 预警 系统 介绍 


公司 财务 预警 系统 是 为 防止 公司 财务 系统 运行 偏离 预期 日 标 而 建立 的 报 敬 系统 ,具有 
针对 性 和 预测 性 等 特点 。 它 通过 公司 的 各 项 指标 综合 评价 并 预测 公司 财务 状 沈 .发展 趋 势 和 
变化 ,为 决策 者 科学 决策 据 供 智力 支持 。 

财务 危 届 预警 指标 体系 中 的 指标 可 分 为 表 内 信息 指标 、 盘 利 能 力 指 标 、 偿 还 能 力 指 标 、 成 
长 能 力 指标 .线性 流量 指标 和 表 外 信息 指标 六 大 指标 ,每 项 大 指标 又 分 为 若干 小 指标 ,如 履 利 
能 力 指 标 又 可 分 为 净 资 产 收 益 兴 ,总 资产 报 前 率 、 特 股 收益 、 主 营业 务 利润 率 和 成 本 费用 利润 
党 等 。 在 用 于 公司 财务 预警 预测 时 ,如 果 对 所 有 指标 都 进行 评价 后 综合 ,异型 过 于 复杂 ,并 且 
各 指标 问 相 关 性 较 强 . 因 此 在 模型 娃 立 前 需要 筛选 指标。 

指标 饰 选 分 为 显著 性 分 析 和 因子 分 析 两 步 。 壮 著 性 分 析 通 过 工 检 验方 法 分 析 ST 公司 和 
非 ST 公司 ,在 财务 指标 中 找 出 关 别 较 大 ,能够 明显 区 分 黄 类 公司 的 财务 指标 。 因 子 分 析 在 昆 
著 性 分 析 基 础 上 对 筛选 出 来 的 指标 计算 主 成 分 特征 值 , 从 中 找 出 特征 值 大 的 指标 作为 公司 俘 
机 预 葛 方 法 的 最 终 评价 指标 。 最 终 找 出 成 分 费用 利润 率 .资产 药 运 能 力 .公司 总 资产 ,总 资产 
增长 动 比 康 、 浓 业 现金 流明 ,市 计 意见 类 型 ,每 股 收益 存货 周转 率 和 资产 负债 率 十 项 指 
标 作为 评价 指标 ,该 十 项 指标 能 够 比较 全 面 地 反映 出 公司 的 财务 状况 。 


5.2 模型 建立 


基于 BP_Adaboost 模型 的 公司 财务 顶 警 算法 流程 如 图 5- 1 所 示 。 
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BP 网 络 1 


BP 网 络 2 


数据 样本 珊 处 理 BP 网 络 3 判决 策略 圳 判断 结果 
BPI 络 = 
图 5-1 算法 流程 
算法 步 桑 如下。 


步 蛇 1 :数据 选择 和 网 络 初始 化 。 从 样本 空间 中 随机 选择 mm 组 训练 数据 ,初始 化 测试 数据 
的 分 布 权 值 P, (= 1/m ,根据 样本 输入 输出 维 数 确 定神 经 网 络 结构 ,初始 BP 神经 网 络 权 值 
和 浆 值 。 

步 又 2: 弱 分 类 器 预测 训练 第 ! 个 弱 分 类 器 时 ,用 训练 数据 训练 BP 神经 网 络 并 且 预 测 
训练 数据 输出 ,得 到 预测 序列 g( 妇 的 预测 误 凑 和 ee ,误差 和 。 的 计算 公式 为 

ei = DD i= 1 mg() A (5-1) 

式 中 ,8g(D 为 预测 分 类 结果 ;y 为 期 望 分 类 结果 。 

步骤 3: 计算 预测 序 询 权 重 。 根 据 需 测 序列 g(0) 的 预测 误差 w 计算 序列 的 权重 4a,, 权 重 计 
算 公式 为 


= BI) (5 -2) 
步骤 4; 测试 数 据 权 重 调整 。 根 据 预 测序 列 权重 a, 调整 下 一 轮训 练 样本 的 权重 ,调整 公式 为 
Dl) = exp yg (7)] 一 12 和 (5-3) 


式 中 ,B, 是 归 一 化 因子 ,目的 是 在 权重 比例 不 变 的 情况 下 使 分 布 权 值 和 为 1。 
步骤 5: 温 分 类 函数 。 训 练 了 轮 后 得 到 了 组 纶 分 类 函数 (ga.), 由 了 组 哗 分 类 也 数 
了 (givai) 组 合 得 到 了 强 分 类 函数 h(x)。 


， 
Na = sienf >  Fsve)] (6-4) 
-全 


对 于 本 案例 米 说 ,具有 1 350 组 公司 财务 状况 数据 ,每 组 数据 的 输入 为 10 维 ,代表 上 上 述 的 
10 个 指标 ,输出 为 1 维 ,代表 公司 财务 状况 ,为 1 时 表示 财务 状况 良好 ,为 一 ! 时 表示 财务 状况 
出 现 问题 。 从 中 随机 选取 1 000 组 数据 作为 训练 数据 ,350 组 数据 作为 测试 数据 。 根 据 数据 维 
数 ,采用 的 BP 神经 网 络 结构 为 10 一 6 一 1, 共 训练 生成 10 个 BP 神经 网 络 弱 分 类 器 ,最后 用 10 
个 弱 分 类 器 组 成 温 分 类 器 对 公司 财务 状况 进行 分 类 。 
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5.3 编程 实现 


根据 Adaboost 和 BP 神经 网 络 原理, 编程 实现 其 十 BP_Adaboost 算法 的 公司 财务 项 
警 建 模 。 


5.3.1 数据 集 渤 择 


从 样本 空间 中 选择 训练 样本 .测试 样本 ,并 对 测试 样本 分 配 权重 ,其 中 训练 数据 和 测试 数 
据 存 储 在 dara 文件 中 .input_train,output_train 为 训练 输入 得 出 数据 ,input_testyoutput_test 
为 预测 输入 输出 数据 。 


汪清 空 环 境 变节 
clc 


Clear 


和 下 载 数 据 


1oad data input_train output_train input_test output_test 


名 测试 样本 权重 
[mm ,nn] = size(input train)s 


Dll,:) = onestl ,mm) /mns 


5.3.2 弱 分 类 器 学 习 分 类 


把 BP 神经 网 络 看 作 鄙 分 类 器 ,经 过 训练 后 分 类 训练 样本 ,并 县 根据 训练 样本 分 类 结果 调 
整训 练 样本 权重 值 ,最 终 得 出 -- 系 列 蓄 分 类 器 其 权重 。 为 了 体现 出 强 分 类 器 分 类 效果 ,本 例 
降低 了 BP 神经 网 络 训练 次 数 以 降低 弱 分 类 器 分 类 能 力 。 


K=10; 点 若 分 类 器 数量 
for i=1:K 


训练 样本 归 一 化 
[inputn, inputps] = mapminmax(input_train)yy 
{outputn, outputps} = mapminnaxt output_train)s 


error(i) = 0; 


和 BP 神经 网 络 构建 

met = newff(inputn, outputn ,6); 
net. trainParam. epochs = 43 
net. trainparan. lr = 0.1; 

net. trainparan. goal = 0.00004; 


BP 神经 了 网络 训练 


net = train(net, inputn, outputn); 
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# 训练 数据 预测 
anl = sim(net,inputn)i 


test_simul(i,:) = mapminmax( "reverse ,anlvoutputps); 


名 测试 数据 预测 
inputn_test = mapminmax( apply', input_test, inputps); 
an= sim(net ,inputn_test) 


test,_ simut( i,:) = mapminmaxf reverse',an, outputps); 


统计 输出 结果 
kk1 = find(test_sinul(i, 1)>0) 
Kk2 = find( test_simol(i,:)<0); 


aalkk1) = 1 
Baa(kk2) = 一 1 


统计 错 洪 样本 数 
for j= 1:nn 
if aa(j}~ = output_train(j); 
error(i) = error(i) + D(i,j); 
end 


and 


% 若 分 类 器 i 权重 
at(i) = 0.5* log((1 ~ error(i))/error(i))s 


$$ 更 新 0 值 
for j= 1:nn 
DGi+1,j =D(iyjj » exp( ~ at(i) « aa(j) # test_sinmul(i,j))5 


end 


%D 值 归 一 化 
Dsun = sun(DCi+ 1,:)); 
Ditly:)=D(i+1,:) /Dsuns 


end 
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5.3.3 强 分 类 器 分 类 和 结果 统计 
由 10 组 弱 分 类 器 BP 网 络 组 成 强 分 类 器 对 分 析 样 本 进行 分 类 ,并 统计 分 类 误差 。 
4 强 分 类 品 分 类 结果 


output = sign(at * test_ simu)s 

统计 强 分 类 器 每 类 分 类 错误 个 数 
kkkl = 
xkk2 = 
for j= 1:350 
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if output(j) ==1 
证 output(j) ~= output_test(j) 
Kickl = Jadcl + 1; 
end 
end 
if output(j) == -1 
证 output(j)~ = output_test(j) 
Jkk2 = kkk2 + 1 
end 
end 
end 


上 统计 红 分 类 器 每 类 分 类 误差 个 数 
for i=1:K 
errorl(i) = 0 
kk1 = find(test_simu(i,:)>0): 
kk2 = find(test_simu(i,:)<0); 


aatjdcl) =1; 
aa(kk2) = -1; 


for j=1:350 
证 aa(j) ~ = output. test(j); 
errori(i) = errorl(i +1; 
end 
end 


end 


5.3.4 结果 分 析 


分 析 样本 共有 350 组 数据 ,采用 10 个 BP 弱 分 类 器 组 成 的 强 分 类 器 分 类 公司 财务 运行 状 


况 ,分 类 误差 统计 如 表 5. 1 所 列 。 
表 5.1 


分 类 误差 统计 
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次 宙 训 计策 囊 攻 匡 过 雁 旱 


闭 分 类 器 分 类 误 关 这 


凋 分 类 器 分 类 平均 误 监 罕 


4.00% 


6.37% 


从 表 5.1 可 以 看 出 , 强 分 类 器 分 类 误 关 


分 类 算法 取得 了 良好 的 效果 。 


5.4 娄 例 扩展 


“ 洲 沁 内 闪 业 第 下 汪 玫 YY 内 济 夸 市 误 册 竹 衣 六 素 志 -本 


于 组 分 类 器 分 类 误差 率 ,民明 BP_Adaboost 


Adaboost 方法 不 仅 可 以 用 于 设计 强 分 类 器 ,还 可 以 用 于 设计 强项 测 器 。 强 预测 器 设计 思 
路 与 蝇 分 类 器 设计 类 似 ,都 是 先 赋予 测试 样本 权重 ,然后 根据 弱 预 测 器 预测 结果 调整 测试 样本 


hunn MATIAB 神经 网 络 30 个 案例 分 析 


澳 宰 训 斌 昱 互 地 球 池 深 量 


a A 
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权重 并 确定 弱 预 测 串 权重 ,最 后 把 弱 预 测 器 序列 作为 强项 测 器 。 不 同 的 是 在 强 分 类 器 中 增加 
预测 错 类 别 翌 本 的 权重 ,在 强 预测 器 中 增加 读 测 误差 超过 赋值 的 样本 权重 。 采 用 BP_Ada- 
boost 强 预 测 器 顶 测 第 2 章 中 非 线性 摧 数 输出 , 冰 数 形式 为 > 一 对 十 好。 
BP 神经 网 络 参 数 设置 见 第 2 章 ,MATLAB 程序 如 下 。 


5.4.1 数据 集 选 择 


从 样本 空间 中 选择 训练 样 不 ,测试 样本 ,并 对 测试 样本 分 配 权 重 。 函 数 > 一 习 十 节 的 输入 
输出 数据 存储 在 datal. mat 文件 中 ,其 中 input 为 旺 数 输入 数据 ,output 为 哺 数 输出 数据 ,从 
中 随机 选择 1 900 组 数据 作为 训练 数据 ,100 组 数据 作为 测试 数据 。 


清空 环境 变量 
cle 


clear 


下 载 数据 
1oad datal input output 


* 从 中 随机 选择 1900 组 训练 数据 和 100 组 测试 数据 
上 = rand(1.2000), 
[mnj = sort(k); 


训练 样本 
input_train = input(n(1;1900), ;1)"; 
output_train= output(n(1;1900), 1)"; 


测试 样本 

input_test = input(n(1901:2000), :)'"; 
output_test = output(n(1901:2000),;)"; 
多 样本 权重 

Lnn,nn] = size( input_train);} 


D(1,:) = ones(l,m) /nn 


5.4.2 弱 预 测 回 学 习 预 测 


把 BP 神经 网 络 看 作 弱 预测 器 ,经 过 训练 后 预测 测试 伴 本 输出 ,并 且 根据 预测 结果 调整 翌 
本 测试 样本 权重 值 ,最 终 得 出 一 系列 弱 预 测 器 及 其 权重 。 这 里 把 需 测 误差 超过 0. 1 的 测试 样 
本 作为 应 该 加 强 学 习 的 样本 。 

K=108 


循环 开始 
for i=1;k 


二 弱 预 测 器 训练 
net = newff( inputnyoutputn,5)) 
net. trainParam. epochs = 204 
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net. trainParam. lr = 0.1; 


net =‘train(net, inputn,outputn); 


# 弱 预 测 器 预测 
anl = sim(net, inputn) ; 


BPoutput = mapminmax(' reverse',anl ,outputps) } 


多 预测 误差 


erroryc{ti,: 


= outputtrain - BPoutput.s 


名 测试 数据 预测 
inputnl = mapninmax(' apply', input_test, inputps); 
an2 = sin(net, inputn1)} 


test_simufi,:) = mapminmaxt' reverse',an2 ,outputps)s 


多 调整 D 值 
Error(i)=0; 
for j=1;m 
让 abs(erroryc(i,j))>>0.1 % 误 莽 超 过 阐 人 秆 
Error(i) = rror(i +D(i,j)s 
DGi+l,j=D(i jxl1.1r 
else 
D+ 1,j) = Di,j); 
end 


end 


$0 值 归 … 化 
at(i) = 0.5/explabs(Error(i))); % log((1 ~ Error(i))/Error(i)); 
DCit+ii)=D(Gi+l:)/sun(D(it+t1，:))3 


end 


5.4.3 强 预测 匡 预 测 
把 10 组 苷 天 测 器 通 数 纳 成 强项 测 器 荐 测 输 出 , 半 比 较 温 预测 器 顶 测 误 痊 和 能 预测 器 项 测 


% 弱 预 测 器 权重 归 一 化 


at =at/sum(at); 


# 强 项 测 器 预测 结果 


output = at < test_simu; 


% 强 预测 器 预测 误差 


error = output_test ~ output’; 
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eritoveWattep en 
* 弱 预 测 器 预测 误 关 
for i=1;,10 
errorl(i,:) = test_sinu(i,:) ~ output; 


end 


s# 误差 比较 

Plot(abs(errar) — #') 

hold on 

plot(mean(abs(error1)}, ~ or 

title( 强 顶 测 器 预测 误差 绝对 值 ',' fontsize',12) 
xlabel(' 预 测 样 本 ', fontsize',12) 
ylabel(' 误 差 绝对 值 ',' fontsize',12) 

legend(' 强 预测 器 项 测 '" 弱 预测 器 痪 测 ) 


若 

您 

村 | 5.4. 4 结果 分 析 

才 预测 样本 共有 350 组 ,共有 10 个 BP 神经 网 络 构 成 弱 预 测 器 序列 ,强项 测 
ba | 对 值 和 弱 预 测 器 顶 测 平均 误差 绝对 值 如 图 5-2 所 示 。 

你 外 大 济 说 状 绝 对 值 

何 0.8 一 一 i 

疑 [ TI] 
间 i 加 将 两 浏 | 
可 07T = 
以 上 

洗 | 

在 ol 了 

线 1 

交 | 

流 


40 50 
预测 样本 


LN 济 联 证 


图 5-2 预测 误差 绝对 值 


预测 算法 取得 了 良好 的 效果 。 
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第 6 章 PID 神经 元 网 络 解 耦 控制 算法 
一 一 多 变量 系统 控制 


6.1 娄 例 背景 


6.1.1 PID 神经 元 网 络 结构 


PID 神经 光 网 络 从 结构 上 可 以 分 为 输入 层 . 隐 含 层 和 输出 层 二 层 ,m 个 控制 其 的 PID 神经 
元 网 络 亿 含 丸 个 并 列 的 相同 子 网 络 , 各 了 网 络 问 既 相 于 独 并 ,又 通过 网 络 连 接 权 值 相 互联 系 ， 
伍 个 子 网 络 的 输入 层 有 两 个 神色 元 ,分 别 接收 控制 昭 的 目标 值 和 当前 信 。 每 个 子 网 络 的 隐 含 
层 山 比例 元 、 积 分 志和 微分 元 构成 ,分 别 对 应 着 PID 控制 器 中 的 比重 控制 .积分 控制 和 微分 控 
制 。PID 神经 元 网 络 按 被 控 系统 控制 景 的 个 数 呆 以 分 为 单 变量 系统 的 单 控制 明神 给 元 网 
络 和 控制 多 变 晤 系统 的 多 控制 明神 经 元 网 络 。 其 中 单 控制 唱 神经 元 网 络 是 PID 神经 元 网 络 
的 基本 形式 ,多 榨 制 昌 神 经 元 网 络 可 以 看 成 是 多 个 单 控制 其 神经 区 网 络 的 组 合 形式 。 单 控制 
草 神 经 元 网 络 的 折 扑 结构 如 钢 6 工 所 二。 


图 6-1 单 控制 量 神 经 元 网 络 拭 朴 结构 
网 6-1 中 Xi 是 控制 昌 的 控制 日 标 ,X， 是 控制 中 当前 值 ,Y 是 神经 


网 络 计算 得 到 的 控 
制 律 ,w, 和 ws 是 网 络 权 值 ,从 中 训 以 看 到 单 控制 殴 神 经 元 网 络 是 一 个 名 神经 苑 网 络 ,网 
络 结构 为 2 3 1, 隐 含 层 包含 比例 元 ,积分 盛 和 微分 元 三 个 神经 元 。 多 控制 车 神经 此 网 络 可 
以 看 成 多 个 单 榨 制 其 网络 的 并 联 连接 ,多 控制 呈 神 经 元 网 络 拓 扑 结构 如 网 6 -2 所 水 。 

图 中 Xoxat eX 是 控制 基 的 控制 日 标 , Xe Xe，… ,Xm 是 控制 最 的 当前 们 .YY,， 
YY, 是 多 控制 量 神经 元 网 络 计 算得 到 的 控制 律 ,wj 和 wx 是 网 络 权 值 。 


6.1.2 控制 律 计算 


PID 神经 元 网 络 分 为 输入 层 . 隐 含 居 和 输出 屋 ， 
输出 明 为 控制 律 ,各 层 输入 输出 计算 公式 如 下 。 
(1) 输入 层 
答 和 人 居中 包含 2 个 昼 经 元 ,输出 数据 x, 等 于 输入 数据 羡 , .计算 公式 为 
CR) = Xk) 6-1) 


网 络 输入 员 为 控制 其 当前 值 和 控制 日 标 ， 
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图 6-2 多 控制 量 神经 元 拓扑 网 络 


(2) 隐 含 层 
隐 含 层 有 34 个 神经 元 ,包括 n 个 比例 神经 元 、n 个 积分 神经 元 和 个 微分 神经 元 。 这 些 
神经 元 的 输入 值 相同 ,计算 公式 为 


nety Ck) 一 Dwirs(k) j=1,2,3 (6 2) 
区 含 层 各 神经 元 输出 的 计算 公式 如 下 : 

比例 神经 元 
sai Ck) = nietn (Ck) (6- 3) 

积分 神经 元 
Wk) = ets(k) + stk — 1) (6 -4) 

微分 神经 元 
HA) = nets(k) — nets(k— 1) (6 5) 


式 中 ,s 为 并 联 子 网 络 的 序号 ;; 为 子 网 络 巾 隐 含 层 神经 元 序号 ;7, (4) 为 备 子 网 络 输入 层 神经 
元 输出 值 ;ow 为 各 子 网 络 输入 层 至 隐 含 层 的 连接 权重 值 。 

(3) 输出 层 

输出 层 有 个 神经 元 ,构成 维 输 出 量 . 输 出 层 的 输出 为 隐 含 层 全部 神经 元 的 输出 值 加 权 
和 ,计算 公式 如 下 : 


一 >) Dou, Ck) (6-6) 
从 


式 中 必 为 输出 层 神经 元 序 巡 5 为 子 网 的 序号 ;j 为 子 网 的 隐 含 屋 神 经 元 序号 ;4 (有 为 隐 含 层 
各 神经 元 输出 值 ;wj 为 隐 含 层 至 输出 层 的 连接 权重 值 。 


YLYN 澡 遍 证 放出 沼 认 演 总 对 了 要 区 各 院 则 
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6.1.3 权 值 修正 


PID 神经 元 网 络 在 控制 的 过 程 中 根据 控制 最 误差 按照 梯度 修正 法 修正 权 值 ,使 得 述 制 量 
不 断 接近 控制 日 标 值 , 权 值 修正 的 过 程 如 下 。 
误差 计算 公式 如 下 : 
了 一 HE= Hy -ry (6 -7) 
式 中 ,为 输出 节点 个 数 ;y, 为 预测 输出 ;r 为 控制 日 标 。 
PID 神经 元 网 络 权 值 的 修正 公式 如 下 : 
中 输出 层 到 隐 含 层 ; 


ow (66-8) 
他 输入 屋 到 输出 层 : 
w+D = 一 7 (6 -9) 
wy 


式 中 ,为 学 习 速 率 。 
6.1.4 控制 对 象 


PID 神经 元 网 络 的 控制 对 象 是 一 个 3 输入 3 输出 的 复杂 耦合 系统 ,系统 的 传递 咀 数 如 下 : 
.2 一 1 十 
0.5xu(k—1)+0.3x* yk Oo 1) 
二 0,2 人 一 了 ) 十 如 全 一 D/L1 十 人 一 1)?] 十 0, 4 (一 1 二 | an 
O02 一 十 0.3x ys(k 一 1) | 


yk) = 0.3x yk ol) tu /lt oe 1 +0.4*w (1 十 
0.4xu(k—1) 0.3xy (ko 1) 
从 式 6- 10 中 可 以 看 出 该 系统 的 控制 量 相 瑟 焰 合 ,用 一 般 的 控制 方法 难以 肥 得 理想 的 控 
制 效果 。 


6.2 模型 建立 


PID 神经 元 网 络 控 制 器 和 被 控 系 统 构成 的 闭环 控制 系统 如 图 6 - 3 所 示 。 

图 中 ,snr,… ,rs 是 控制 量 控制 目标 ,zz ,zzy…，ao 为 控制 器 控制 律 ,y ，y。，…+y, 为 控制 
量 当 前 值 。 对 于 本 案例 来 说 , 山 于 被 控 对 象 有 三 个 控制 虹 , 所 以 选择 包含 二 个 单 神经 元 网 络 给 
成 的 多 神经 元 网 络 作为 系统 控制 器 。 网 络 权 值 随 机 初始 化 ,控制 其 初始 值 为 [0 0 0], 控 制 
日 标 为 [0.7 0.4 0.6] ,控制 时 间 间 陋 为 0.001 秒 。 


6.3 编程 实现 


根据 PID 神经 元 网 络 控制 器 原理 ,在 MATLAB 中 编程 实现 PID 神经 元 网 络 控制 多 变量 
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四 四 吃 

[ 王 一 一 | 四 六 
PID 神 经 元 网 络 被 控 对 象 

四 四 辆 


图 6~3 PID 神经 元 网 络 闭环 控制 系统 


合 系 统 。 由 于 本 案例 中 PID 神经 网 络 控制 器 由 三 个 单 神经 元 控制 器 组 成 ,代码 较 长 ,因此 
只 讲解 其 中 一 个 单 神经 元 控制 器 代码 ,上 共 余 神经 元 控制 器 代码 与 此 类 似 。 


6.3.1 PID 和 神经 同 络 初始 化 
初始 化 神经 元 网 络 各 凡 间 的 连接 权 值 。 


ko = 0.03; 


名 输入 层 到 隐 含 层 权 值 

mL=k0x rand(3,2) 511_ 1=wlliwll 2= wl1.1; 
W12 = kO« rand(3,2);w12_1 = wl2;w12 2 = w12 .1 
Wl3=k0* rand(3,2) 3w13 1=wl3iw13 2= 3,1; 


和 隐 含 岩 到 输出 层 权 值 

Wal = kO x rand(1,9) sw21 1= w21iw21.2= w21 1 
w22 = k0 x rand(1,9)1w22.1 = w224w22.2 = w22_ 13 
W23 = kO# rand(1,9) ;Ww23.1 = w23;w23 2 = 23 13 


6.3.2 控制 律 计算 


PID 神经 元 网 络 根据 系统 控制 量 当前 值 和 控制 日 标 计算 控制 律 , 下 述 代码 中 只 包含 一 个 
PID 神经 元 网 络 控 制 器 控制 律 计 算 ,其 余 两 个 PID 神经 元 网 络 控制 律 计 算 程 序 同 下 面 的 程序 
一 敏 。 


s# 输 入 层 输 出 ,rl,z2.r3 是 控制 自 标 ,yn 是 控制 量 当前 值 
xlo= [ri(i)iyn(1)]ix2os [r2(k)iyn(2)];x3o= [rz3(ciyn(3)]; 


隐 含 层 输入 计算 
wli= wll# xlos 
x2i = wi2 * x20s 


x31 = W13 * x3or 


“这 闭 二 颠 如 入 市 为 怕 8YTIYK 神 良 市 党 赃 牙 洽 注 况 汪 - 机 大 壮 认 计生 各 菠 革 各 了 六 
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比例 神经 元 P,xpmax,xpmin 为 比例 神经 元 的 壤 大 、 最 小 输出 什 
xp= [x1i(1) ,x2iC1) ,x3iC1)]; 

xp(find(xp> xpnax) ) = xphaxs 

xp{ find(xp<<xpmin)) = xpain; 

P= xp; 

hii(1) = qp(1) 1h2i(1) = ap(2) 1131(1) = qp(3)， 


入 积分 神经 元 I,qimax,qinin 为 积分 神经 元 的 最 大 .最 小 给 出 值 
xi = [xli(2) ,x2i(2),x3i(2)] 
0,0,0]iqi 1 = [hli(2),h2i(2),b3i(2)]3 


gi= qi_1+ xi 

gi(find(qi> qinax)) = qimaxf 
iffind(qi<cqimin)) = qimint 

hti(2) = qi(1) 1h2i(2) = qi(2) ;bh31(2) = qi(3)3 


入微 分 神经 元 0,qdnax,qdnin 为 微分 神经 元 的 最 大 、 最 小 输出 信 
xd = [x1i(3) ,x2i(3) ,x3i1(3)]; 

qd=[000]; 

xd_1 = [x11163) ,x24.163) ,x31.1(3)]; 

qd= xd- xd_1; 

ad(find(qd>> qdmax)) = gdmaxs 

qd(find(qd< qdnin)) = qdnins 

hli(3) = qd(1) ;hb24(3) = qd(2)5h3i(3) = qd(3); 


$$ 控制 律 输出 

wo = Ew215w22;w23]; 

qo= [hi',h2i',h3i"];g0= go 

uh= wow qos 

uh({find(uh>uhnax)) = uhnaxs 
uh(find(uh<<uhnin)) = uhnins 

oO = wh(1) 3u200 = oh BC) = uh(3)s 


6.3.3 权 值 修正 


PID 神经 元 网 络 根据 控制 量 当 前 从 和 控制 日 标 修正 权 值 ,使 控制 量 接近 控制 日 标 , 权 值 修 
下 程序 如 下 所 未。 代码 中 只 包含 一 个 PID 神经 元 网 络 控制 器 权 信 修正 过 程 ,其 余 两 个 PID 神 
经 元 网 络 控制 律 权 值 修正 程序 同 下 面 的 程序 一 到。 
名 控 制 世 混 差 ,r1C ,rz2(k) ,r3(k) 为 控制 目标 ,y1(k) ,92(k),y3(k) 为 控制 量 当前 什 
arror = [r109 - y1(k)3r2C) - 92(o 5r3(0 一 23(loD] 
errorl(k) = error(1) ;error2(k) = error(2)ierror3(k) = error(3)s 
Jk) = 0.5x (error(1)"2 + error(2)"2 + error(3)"2); 


TY 六 康 十 部 洲 浴 闪 防 天 刁 - 匠 着 澡 认 半 畦 污 区 区 首 综 内 


$ 隐 售 层 输出 层 权 值 凋 整 
和 %u_1s0_2,u_3 是 控制 律 ,81,82,73 是 被 控 量 ,y_1 为 被 控 量 上 个 时 间 点 值 
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ypc = [yk) ~ 了 Il1)5y2(k) - y.1(2) ;73Ck) -了 1(3)] 
uhe = [ou 10) -a 26) 380162) -2(2)ru 163) -a263)]; 


Sigl = sign(ype. /(uhe(1) + 0.00001)); 
dw21 = sum(error. * Sigl) * qo'; 
21 = W21 + rate2 * dw21; 名 rate2 为 学 习 速率 


多 输 人 层 到 隐 含 层 权 值 调整 
delta2 = zeros(3,3); 
wshi= [W213;w22:w23]; 
for t=1:1:3 
delta2(1;3,t) = error(1:3). * sign(ype(1:3). /(uhc(t) + 0.00000001)); 
end 
for j=1:1:3 
sgn(j) = sign( (hli(j) -hli tiD)ACGxli - x1i 1(j) +0.00001)); 


end 


si = sgn'*# [r1(k) ,yl(K)]; 
wshi2_ 1 = wshi(1:3,1:3)5 
alter = zeros(3,1): 


dusl = zeros(3,2); 


for j= 
for p=1:1:3 
alter(j) = aiter(j) + delta2(p,:) # wshi2 1(: 3 
end 


end 


for p=1:1:3 
dwsi(p,:) = alter(p) * St1(p: 3:)5 

end 

wl1=Wll+ratel* dwsl; ”和 %ratel 为 学 习 速 率 


6.3.4 结果 分 析 


用 PID 神经 元 网 络 控 制式 (6 -10) 中 3 输入 3 输出 的 复杂 看 合 系统 ,网 络 初 始 权 值 随机 得 
到 ,网 络 权 值 学 习 率 为 0.05, 控 制 间隔 为 0.001 秒 , 控 制 量 的 控制 月 标 分 别 为 0.7.0.4 和 0.6， 
PID 神经 元 网 络 控制 效果 如 图 6 -4 所 示 。 

控制 器 控制 误差 如 图 6 -5 所 示 。 

从 图 6-4. 图 6-5 可 以 看 出 ,PID 神经 元 控制 器 能 够 较 好 控制 此 多 输入 多 输出 复杂 不 全 
系统 , 榨 制 量 最 终 值 接近 日 标 值 。 
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PID 神 痉 元 网 络 探 制 
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图 6-4 控制 器 控制 效果 
1 控制 误 莽 曲线 
09 i 
| 
08 
: 
07 
06 


控制 误 族 
口 
加 
T 


二 


YK 


006 008 01 012 014 016 018 02 
时 jls 


0 
EE 
o 
BS 
BR 
o 
3 


图 6-5 控制 误差 曲线 
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6.4 案例 扩展 


6.4.1 增加 动量 项 


PID 神经 元 网 络 权 值 采 用 梯度 学 习 算法 ,网 络 权 值 修 下 较 慢 并 日 容易 陷 人 局 部 最 优 ,可 以 
通过 增加 动量 项 的 方法 提高 网 络 学 习 效率 ,增加 动 基 项 的 权 值 学习 公 式 如 下 ， 


wa kt) = onlk) gL + [eo (hk) — wa(k— 1)] 6-11) 
wo 


39) 


dos 
式 中 ,wx 为 隐 含 层 到 输出 屋 权 值 ;w; 为 输入 层 到 隐 含 层 问 权 值 ;J 为 控制 误差 1 为 学 习 
速率 。 
带动 量 项 的 PID 神经 元 网 络 控制 效果 如 图 6-6 所 示 。 
PID 神 经 气 网 络 控制 


oo 十 1) 一 op 一 用 十 入 [os () 一 ao (一 1 《6 一 127 
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图 6-6 控制 器 控制 效果 


6.4.2 神经 元 系数 


PID 神经 网 络 控制 器 中 隐 含 层 三 个 节点 分 别 对 应 着 比例 控制 .积分 控制 和 微分 控制 的 三 
个 环节 。 积 分 控制 神经 元 的 值 在 不 断 累加 ,造成 积分 神经 元 值 不 断 累 积 增加 ,微分 控制 神经 元 
的 值 为 控制 基 当 前 信和 日 标 值 的 差 , 微 分 控制 神经 元 值 过 小 。 因 此 ,借鉴 PID 控制 器 中 PID 
参数 设 冯 ,增加 神经 元 输出 乘积 系数 , 隐 含 层 输 出 值 由 隐 含 层 神经 元 输出 值 乘 以 对 应 系数 得 
到 ,计算 公式 如 下 ， 
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比例 神经 元 
wi (k) = ks net Ck) (6 -13) 
积分 神经 元 
Us Ck) = ret (k) + Ualk—1) 
(6 -14) 
a(R) = kr Uh) 
微分 神经 元 
us (Rk) = ky x net lk) 一 meta lk — 1)] 《6 一 15) 


式 中 ,s,s 为 系数 ;Uu() 为 中 间 变 量 ; 其 他 参数 解释 与 式 6. 3 一 6.5 一 至。 


设置 如 二 1,& 一 1.5,ks 一 10, 带 神经 元 系数 的 PID 神经 元 网 络 控制 效果 如 图 6 -7 所 示 。 
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图 6-7 控制 器 控制 效果 


6.4.3 PID 神经 元 网 络 权 值 优化 


PID 神经 元 网 络 采 用 的 学 习 算 法 是 梯度 学 习 法 ,初始 权 值 随机 竺 到 , 权 值 在 学习 过 程 中 可 
能 陷入 局 部 最 优 值 。 采 用 粒子 群 算法 优化 圳 经 匹 网络 初始 权 值 ( 迷 子 群 算法 介绍 请 参考 第 26 
章 ) ,粒子 群 算法 的 参数 设置 为 ;种 群 规模 为 50, 进 化 次 数 40, 采 用 日 适应 变异 方法 提高 种 群 搜 
索 能 力 , 粒 子 群 算法 进化 过 程 如 图 6-8 所 水 。 

把 粒子 群 算法 优化 得 到 的 最 优 初始 权 值 带 入 PID 神经 元 网 络 ,神经 元 网 络 控制 效果 如 图 
6-9 所 示 。 

从 图 6-9 可 以 看 出 ,粒子 群 算法 优化 的 PID 神经 元 网 络 控制 取得 了 满意 的 效果 ,控制 虽 
本 仅 迪 速 召 近 控制 月 标 , 而 凡响 应 时 间 较 得 。 
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图 56-9 控制 器 控制 效果 
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第 7 章 RBF 网络 的 回归 
一 一 非 线性 函数 回归 的 实现 


7.1 晤 例 音 景 


7.1.1 RBF 神经 网 络 概述 


笠 癌 基 帅 数 (RBF ,Radical Basis Function) 是 多 维 空间 插值 的 传统 技术 ,由 Powell 于 
1985 年 提出 。1988 年 ,Broomhead 利 Lowe 根据 生物 神经 元 具有 局 部 响应 这 一 特点 ,将 RBF 
引信 神经 网 络 设计 中 ,产生 了 RBF 神经 网 络 。1989 年 ,jackson 论证 了 RBF 神经 网 络 对 非 线 
性 连续 丞 数 的 一 至 列 近 性 能 。 

RBF 神经 网 络 届 于 前 向 神经 网 络 类 型 ,网 络 的 结构 与 多 层 前 向 网 络 类 似 , 是 一 种 三 层 的 
前 向 网 络 。 第 … 层 为 输入 层 , 由 信号 源 结 点 组 成 ;第 二 点 为 隐藏 层 ,隐藏 层 季 点 数 视 所 描述 问 
题 的 需 概 而 定 , 隐 藏 层 中 神经 元 的 变换 函数 即 答 向 基 丽 数 是 对 中 心 点 径 向 对 称 且 衰减 的 非 负 
臣 线 忻 函 数 ,该 冰 数 是 局 部 响应 函数 ,而 以 前 的 前 向 网 络 变换 函数 者 是 全 局 响应 的 两 数 ; 第 三 
屋 为 输出 屋 , 它 对 输入 模式 作出 响应 。 

RBF 网 络 的 基本 思想 是 :用 RBF 作为 隐 单 元 的 “大 ”构成 隐 沽 层 空间 , 隐 含 层 对 输入 矢量 
进行 变换 ,将 低 维 的 模式 输入 数据 变换 到 高 维 空间 内 ,使 得 在 低 维 空间 内 的 线性 不 可 分 的 问题 
在 高 维 空间 内 线性 叮 分 。 

RBF 神经 网 络 结构 简单 .训练 简洁 而 电学 习 收 合 速 度 快 ,能 够 六 近 任意 非 线 性 旺 数 ,因此 
它 已 被 广泛 应 用 于 时 间 序 列 分 析 、 模 式 识别 , 非 线 性 控制 和 图 形 处 理 等 领域 。 


7.1.2 RBF 神经 网 络 结构 模型 


径 向 基 神 经 网 络 的 神经 元 模 异 如 图 7- 1 所 示 。 径 向 基 神 经 网 络 的 节点 激活 函数 采 几 径 
向 基 沙 数 ,通常 定义 为 空间 任 一 点 到 某 “中心 之 问 的 欧式 距离 的 单调 也 数 。 
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图 7-1 径 向 基 神经 元 模型 
由 疼 ?- 1 所 示 的 径 向 基 神 经 元 结构 可 以 看 出 , 径 向 基 神 经 网 络 的 激活 是 数 是 以 输入 向 量 
和 权 值 向 县 之 间 的 距离 | aist ‖ 作为 日 变量 的 。 径 向 基 神 经 网 络 的 激活 所 数 的 一 般 表 达 式 为 
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RE dist hh) oe 

随 着 权 值 和 输入 向 明之 间距 离 的 减少 ,网 络 输 出 是 递增 的 , 当 输 入 向 量 和 权 值 向 量 -“ 致 
时 ,神经 元 输出 为 1。 图 中 的 5 为 辐 值 ,用 于 调整 神经 元 的 灵敏 度 。 利 用 径 向 基 神 经 元 和 线性 
神经 元 可 以 建立 广义 el 归 神 经 网 络 , 此 种 神经 网 络 适用 于 函数 过 近 方面 的 应 用 ; 答 向 基 神 经 元 
和 竞争 昼 经 元 可 以 建立 概率 神经 网 络 ,此 种 神经 网 络 适 用 于 解决 分 类 问题 。 

由 输入 层 ,中 藏 尼 和 输出 层 构成 的 一 般 径 向 基 神 经 网 络 结构 如 网 7 -2 所 术 。 在 RBF 神 
经 网 络 中 ,和 输入 层 仅 仅 起 到 传输 信号 的 作用 ,与 前 面 所 讲述 和 神经 网 络 相 比较 ,输入 层 和 隐 含 
层 之 问 可 以 看 作 连接 权 值 为 1 的 连接 ,输出 层 和 隐 含 层 所 完成 的 任务 是 不 同 的 ,因而 它们 的 学 
习 策 略 也 不 相同 。 和 输出 层 是 对 线性 权 进 行 调整 ,采用 的 足 线 性 优化 策略 ,因而 学 习 速 度 较 快 。 
而 隐 含 层 是 对 激活 哨 数 (格林 也 数 或 高 斯 函数 ,一般 取 高 斯 葡 数 ) 的 参数 进行 调整 ,采用 的 是非 
线性 优化 策略 ,因而 学 习 速 度 较 慢 。 


图 7-2 径 向 基 神 经 网 络 结构 


7.1.3 RBF 神经 网 络 的 学 习 算 法 


RBF 神经 网 络 学 习 算法 需要 求解 的 参数 有 3 个 : 莽 哺 数 的 中 心 .方差 以 及 隐 含 层 到 输出 
层 的 权 倘 。 根 据 径 向 基 函 数 中 心 选 取 方法 的 不 同 ,RBF 网 络 有 多 种 学 习 方法 ,如 随机 交 取 中 
心 法 、 自 组 织 选 取 法 ,有 监督 选取 中 心 法 和 正 交 最 小 二 乘法 等 。 下 面 将 介绍 自 组 织 选 取 中 心 的 
RBF 神 绿 网 络 学 习 法。 该 方法 由 两 个 阶段 组 成 ，- 是 自 组 织 学 习 阶 段 ,此 阶段 为 无 导 闹 学 习 
过 程 ,求解 隐 合 屋 基 珊 数 的 中 心 刁 方 其 :二 是 有 导师 学 习 阶 段 , 此 阶段 求解 隐 含 层 到 输出 层 之 
间 的 权 值 。 

径 向 基 神 经 网 络 中 常用 的 径 向 基 函 数 吓 高 斯 函数 ,因此 径 身 基 神 经 网络 的 激活 两 数 可 表 
zl el’) 
起 中 ,zc | 为 欧式 范 数 ie 为 高 斯 函数 的 中 心 ;o 为 高 斯 函 煞 的 方 养 。 

由 图 7 - 2 所 示 的 径 向 大神 经 网 络 的 结构 可 得 到 网 络 的 输出 为 


Rez 一 c) 一 exp( 一 


， 
光一 wep(- 亦 Pas med?) 了 一 


,区 )" 为 第 个 输入 样本 ;二 1,2,3,…,P.P 为 样本 总 数 ;ci 为 网 络 隐 
;zw 为 隐 会 屋 到 输出 层 的 连接 权 值 ;i 二 1,2,3,… .为 隐 含 大 数 ;3y; 为 与 


第 7 章 RBF 网 络 的 回归 非 线 性 函 寺 回归 的 实现 /Rinn 


输入 样 本 对 应 的 网 络 的 第 个 输出 结 点 的 实际 输出 。 
设 了 是 样 不 的 期 户 输 出 值 . 陡 么 基 酚 数 的 方差 可 圾 示 为 
o= Oa yl 

学 习 算 法 具体 步骤 如 下 

步骤 1: 基 于 -均值 乐 类 方法 求 取 基 范 数 中 心 <。 

@ 网 络 初 始 化 :随机 选取 和 个 训练 样本 作为 聚 类 中 心 ci 一 1.2， sj 。 

@ 将 输入 的 训练 样本 集合 按 最 近邻 规则 分 组 ,按照 xy 与 中 心 为 <, 之 问 的 欧式 路 离 将 
分 配 到 输入 样本 的 名 个 到 类 集合 9, 二 1,2.…, 忆 中 。 

@ 重新 浏览 聚 类 中 心 :计算 各 个 聚 类 集合 gr 中 训练 拌 本 的 平均 值 , 即 新 的 聚 类 中 心 < 
如 果 新 的 聚 关中 心 丰 再 发 生变 化 , 则 所 得 到 的 c 即 为 RBF 神经 网 络 最 终 的 基 枉 数 中 心 , 否 则 
返 加 名 ,进行 下 - 轮 的 中 心 求解 。 

步 台 2: 求解 方 蕉 a。 

该 RBF 神经 网 绕 的 大雪 数 为 高 斯 所 数 , 方 差 m 可 由 下 式 求解 


1 


式 中 ,wx 是 所 选 记 中 心 之 间 的 最 大 号 离 。 
步 坚 3: 计 算 隐 含 层 和 输出 层 之 问 的 权 值 。 
隐 含 层 全 输出 层 之 问 神经 元 的 连接 权 值 可 以 用 最 小 :乘法 直接 计算 得 到 ,计算 公式 如 下 : 


忆 一 exp (二 hz ed’) i 120 hp 238,P 


7.1.4 曲线 拟 含 相关 背景 


曲线 拟 合 (eurve fitting) 是 用 连 续 曲 线 近似 地 刻画 或 比拟 平面 上 离散 点 组 所 表示 的 坐标 
之 问 明 数 关系 的 -种 数据 处 理 方法 ,是 用 解析 表达 式 明 近 离 散 数 据 的 一 种 方法 ， 硅 科学 实验 
或 社 会 活动 中 ,通过 实验 或 观测 得 刘 疝 工 与 y 的 一 组 数据 对 (7 701 2 mm) 其 中 心 
是 彼此 不 同 的 。 人 大 们 希望 由 -类 与 数据 的 背景 材料 规律 相 适应 的 解析 表达 式 如 >= /zc) 来 
反映 基 工 与 y 之 间 的 依赖 关系 , 即 在 一 定 意 义 下 “最 佳 ? 地 通 近 或 拟 合 已 知 数据 。y 一 Fazrve) 
常 被 称 作 拟 合 模型 , 式 中 “= (ewes,… sc,) 是 一 些 待定 参数 。 当 < 在 了 中 线性 出 现时 ,此 时 称 
模型 / 为 线性 模型 ,否则 称 /为 非 线性 模型 。 现 在 有 许多 衡 昌 拟 合 优 度 的 标准 ,最 常用 的 一 
种 做 法 是 选择 参数" 使 得 拟 合 模型 与 实际 观测 值 在 各 点 的 残 英 (或 座 差 )m 一 yi 一 了 reso) 的 
加 权 平 方 和 达到 最 小 ,此 时 所 求 曲 线 称 作 在 加 权 有 最 小 二 乘 意义 下 对 数据 的 拟 合 遇 线 。 晶 前 有 
许多 求解 拟 合 曲线 的 成 功 方法 ,对 于 线性 模型 . - 般 遂 过 建立 和 求解 方程 组 米 确定 参数 ,从 市 求 
得 拟 合 曲线 。 至 于 非 线 性 模型 , 则 要 借助 求解 非 线性 方程 组 或 用 最 优化 方法 求 得 月 数 才 
能 得 到 拟 合 申 线 , 有 了 时 也 称 之 为 非 线性 最 小 二 梯 拟 合 。 


7.2 模型 建立 


本 例 用 RBF 网 络 拟 合 未 知 函 数 ,预先 设 定 一 个 非 线性 函数 ,如 式 {7- 1) 所 示 , 假 定 条 数 解 
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加 
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析 式 不 清楚 的 情况 下 ,随机 产生 xi ,x; 和 由 这 两 个 变量 按 式 (7 - 1) 得 出 的 y。 将 x ,x 作为 
RBF 网 络 的 输入 数据 ,将 y 作为 RBF 网 络 的 输出 数据 ,分 别 建立 近似 和 精确 RBF 网 络 进行 回 
归 分 析 ,并 评价 网 络 拟 合 效果 。 
一 20 十 好 一 10cos(2rz) 十 姓 - 10cos(2nzs) (7-D 
在 使 用 精确 (exact) 径 向 基 网 络 来 实现 非 线 性 函数 的 回归 例子 中 ,共产 生 了 301 个 样本 ,余部 
作为 网 络 的 训练 样本 ,使 用 图 形 串 视 化 来 观察 拟 合 效果 。 
在 使 用 近似 (approximate) 径 向 基 网 络 对 同一 哺 数 进行 拟 合 的 例子 中 ,共产 生 了 了 400 个 训 
练 数据 和 961 个 验证 数据 ,使 用 400 个 训练 数据 训练 RBF 网 络 后 ,使 用 训练 好 的 网 络 来 预测 
961 个 验证 数据 的 结果 ,并 通过 可 视 化 的 方法 观察 RBF 神经 网 络 的 拟 合 效果 。 


7.3 MATLAB 实 夫 


7.3.1 RBF 网 络 的 相关 光 数 


(1) newrb() 

该 函数 可 以 用 来 设计 一 个 近似 (approximate) 径 向 基 网 络 。 其 调用 格式 为 

[net, tr] = newrh(P,T, GOML, SPREAD.MN, DF) 
其 中 ,P 为 Q 组 输入 向量 组成 的 Rx Q 维 矩 阵 ;T 为 QQ 组 日 标 分 类 向 量 组 成 的 Sx Q 维 捧 阵 ; 
GOAL 为 均 方 误差 日 标 (Mean Squared Error (ioal) ,默认 为 0.0;SPREAD 为 径 向 基 沙 数 的 扩 
展 速 度 .默认 为 1;MN 为 神经 元 的 最 大 数 日 ,默认 为 Q;DF 为 两 次 显示 之 问 所 添加 的 神经 元 
数 日 ,默认 为 25;net 为 返回 值 ,一 个 RBF 网 络 ;tr 为 返回 值 ,训练 记录 。 

用 newrb() 创 建 RBF 网 络 昆 一 个 不 断 党 试 的 过 程 , 在 创建 过 程 中 , 震 要 不 断 增加 中 间 层 
神经 元 和 个 数 , 直 到 网 络 的 输出 误差 满足 预先 设 定 的 值 为 止 。 

{2) newrbe() 

该 晒 数 用 于 设计 一 个 产 格 (cxacU 径 向 枯 网 络 。 其 调用 格式 为 

net = newrbe( P, T, SPREAD) 
其 中 ,了 为 Q@ 组 输入 向 量 组 成 的 Rx* Q 维 矩阵 !T 为 Q 织 目标 分 类 间 大 组 成 的 Sx Q 维 怎 阵 ， 
SPREAD 为 径 问 基 郴 数 的 扩展 速度 ,默认 为 1 。 

和 newrh() 不 同 ,newrbe() 能 够 基于 设计 向 景 快速 地 无误 益 地 设计 一 个 径 向 基 网 络 。 

(3) radbas() 

该 函数 为 径 向 基 传 递 两 数 。 其 润 用 格式 为 

Ar radbas(N) 

info = radbas(code) 
其 中 ,NN 为 输入 ( 列 ) 向 最 的 Sx Q 维 矩阵 :A 为 摧 数 返回 矩阵 ,与 N 一 一 对 应 , 即 N 中 的 每 个 
天 素 通过 径 同 基 否 数 得 到 A。info==radbas(code) 表 示 根 据 code 值 的 不 同 返 加 有 关 函 数 的 不 
辣 信息 。 包括 


derive- 


返回 导 冰 数 的 名 称 。 


第 ?于 RE Rw。 机 Finn 


name 一 返回 滑 数 全 称 。 

output 返回 输 人 范围。 

active- ”返回 叮 用 输入 范围 。 

使 用 cxact 径 癌 基 网 络 来 实现 非 线性 的 函数 回归 (chapter7_1. m) ,代码 如 下 ， 


名 名 清空 环境 变量 

ele 

clear 

名 多 产生 输入 输出 数据 

名 设 竺 步 长 

interval = 0.014 

多 产生 xl x2 

x1= -1.5:intervalit.55 

x2= -1.5:interval:l.5: - 

% 按照 画 数 先 求 得 相应 的 廿 数值 ,作为 网 络 的 输出 。 

F =20+x1."2- 10 cos(2 "pix x1) +x2.2 -10«*cos(2 x pis x2)! 
8% # 网 络 建立 和 训练 

和 网 络 建立 输入 为 [xlix2], 输 出 为 了 ?。sSpread 使 用 默认 。 
net = newrbe([x13x2],F) 

%% 网 络 的 效果 验证 

% 将 原 数据 回 带 ,测试 网 络 效果 ， 

ty= sim(net,[x1:x2]); 

% 使 用 图 像 来 看 网 络 对 非 线性 函数 的 拟 合 效果 

figure 

Plot3{x1 ,x2,F, ra)s 

hold oni 

plot3(xl,x2,ty,b—.), 

view(113,35) 

title(' 可 视 化 的 方法 观察 严格 的 RBF 神经 网 络 的 拟 合 效果 7 
xlabelf x1') 

Ylabel(' x2') 

zlabel(F') 

grid on 


下 面 用 approximate RBF 网 络 对 同一 函数 进行 拟 合 (chapter7_2, m) 。 
$$ 清空 环境 变量 


ele 
clear 

多 产生 训练 样本 {训练 输入 ,训练 输出 ) 
s# 1d 为 样本 例 数 

1d=400; 

名 产生 2* ld 的 矩阵 

x= rand(2,1d); 


和 将 x 转换 到 [ -1.5 1.5] 之 间 
X= x-0.5) #1.5x24 
x 的 第 … 列 为 x1, 第 二 列 为 x2、 
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x1 = x(1,:); 
x2 = x(2,1); 
计算 网 络 输 出 F 值 
Fe=20+xl 2-10xcos(2xpiyxl)+x2.2-10rcos(2xpiyx2]i 
和 建立 RBF 神经 网 络 
名 采用 approxinate RBF 神经 网 络 。spread 为 默认 值 
net = newrb(x,EF) 
$ % 建立 测试 样本 
% generate the testing data 
interval = 0.13 
[i, j] = meshgrid( ~ 1.5.interval:1.5)s 


row= size(i); 


tx2= jC:); 
tx2 = tx2"; 
tx= [txlitx2]; 


% $ 使 用 建立 的 REF 网 络 进行 模拟 ,得 出 网 络 输出 
ty= sim(net, tx 
s# % 使 用 图 像 , 画 出 3 维 图 

% 真正 的 函数 图 像 

interval = 0.1; 

[x1, x2] = meshgrid( ~ 1,5:interval:1, 5); 

F = 20+%1."2-10x*cos(2*x pi xl) +x2.2-10x*cos(2 x piyx2)1 
subplot(1,3,1) 

mesh(x1 ,x2,F)s 

zlin([0,60]) 

title( 真 正 的 函数 图 像 ) 

s 网 络 得 出 的 应 数 图 像 

v= reshape( ty,row)} 

subplot(1,3,2) 


凑 褒 罕 计 加 五 站 区 和 障 部 


mesh(i, jv)s 

z1im([0.60]) 

title(' RBF 神经 网 络 结果 ) 

% 误差 图 像 

subplot(1,3,3) 

meshtx1 ,x2,F ~ vs; 

zlim( [0,60]) 

title(' 误 差 图 像 》 

set(gcf, position',[300 ,250,900,400]) 


YTIY 风 站 也 示 党 涂 浴 计 注 严 对 


7.3.2 结果 分 析 


代码 运行 后 的 结果 如 图 7 -3、 岁 7-4 所 示 。 
在 命令 窗口 中 的 输出 结果 如 下 ; 


第 7 闽 RBF 网 络 的 回归 


非 线性 函数 回归 的 实现 /Riine 


neurons 
neurons 
neurons 
neurons 
neurons 
neurons 
neurons 
neurons 
neurons 
neurons 


可 视 化 的 万 法 观察 准确 RBF 神经 网 络 的 拟 合 效果 


图 7-4 3| 
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= 75, MSE 
= 100, MSE 
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= 200, MSE 
= 225, MSE 


图 7-3 


RBF 神经 网 络 结果 
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pprn 


108.563 

= 48.7566 

= 3.67744 

= 0.127232 

= 0.00159733 

= 0.000151675 
2.15211e— 005 
1.25473e- 005 
= 6.45407e— 006 
= 9.79246e— 007 


exact 径 向 基 网 络 拟 合 效果 


imate RBF 神经 网 络 拟 合 效果 比较 图 和 误差 图 
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.35697e— 006 
.16004e- 007 
14613e— 007 


NEWRB, neurons = 250, MSE = 1 
NEWRB, neurons = 275, MSE = 6 
NENRB, neurons = 300, MSE = 1 
NEWRB, neurons = 325, MSE = 1.091i5e- 007 
NEWRB. neurons = 350, MSE = 1.04741e— 007 
NENRB, neurons = 375，MSE = 1.24349e- 007 
6 


NEWRB, neurons = 400, MSE = 6.41058e~ 008 


巾 图 7-3.7…4 可 知 ,神经 网 络 的 训练 结果 能 较 好 带 近 该 韭 线性 函数 .由 误差 图 上 看 ， 
神经 网 络 的 隐 测 效果 在 数据 边 红 处 的 大 ;在 共 他 数值 处 的 拟 合 效 果 很 好 。 网 络 的 输出 
和 晴 数 值 之 问 的 差 值 在 隐藏 层 神经 元 的 个 数 为 100 时 已 经 接近 于 0, 说明 网 络 输出 能 非常 好 


7.4 时 例 扩 展 


7.4.1 应 用 径 向 基 神 经 网 络 需要 注意 的 问题 


尽管 RBF 网 络 的 输出 是 隐 单 元 输出 的 线性 加 权 和 ,并 岂 网 络 学 习 速率 快 ,但 并 不 等 于 
RHBE 神经 网 络 就 可 以 取代 其 他 前 镇 网 络 。 这 是 因为 RBF 网 络 很 可 能 需要 比 BP 神经 网 络 多 
得 多 的 隐 含 层 神经 拒 来 达到 预期 的 训练 中 标 。BP 网 络 采用 sigmoid() 明 数 ,这 样 的 神经 元 有 
很 大 的 输出 可 见 区 域 ,而 么 向 基 网 络 使 用 的 径 向 基 丽 数 ,输入 空间 区 域 就 很 小 ,这 就 不 可 避免 
地 导 化 了 这 输入 空间 较 大 时 ,需要 更 多 的 从 癌 基 神 经 元 。 


7.4.2 SPREAD 对 网 络 的 影响 


SPREAD 为 径 向 基 汕 数 的 扩展 系数 ,默认 值 为 1. 0。 合 理 选 择 SPREAD 是 很 重要 的 ,其 
值 应 该 足够 大 ,使 径 向 基 神 经 元 能 够 对 输入 向 量 所 覆盖 的 区 间 都 产后 响应 ,但 也 不 要 求 大 到 所 
有 的 径 向 基 神 经 元 都 如 此 ,只 要 部 分 从 向 基 神 经 所 能 够 对 输入 向 量 所 覆盖 的 区 间 产 生 响 应 就 
足够 了 。SPREAD 的 值 越 大 ,其 输出 结果 越 光 少 , 但 太 大 的 SPREAD 值 会 导致 数值 计算 上 的 
困难 , 若 在 设计 网 络 时 ,出 现 "Rank deficient" 警 告 ,应 考虑 碱 小 SPREAD 的 值 重新 进行 没 计 。 
因此 .在 网 络 设计 的 过 程 中 ,需要 用 不 同 的 SPREAD 值 进行 尝试 ,以 确定 一 个 最 优 值 。 

为 了 更 严格 地 对 数据 进行 拟 合 ,最 好 使 SPREAD 的 值 小 于 输 和 向 量 之 间 的 典型 距离 。 
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第 8 章 GRNN 的 数据 预测 
一 一 基于 广义 回归 神经 网 络 的 货运 量 预测 


8.1 染 例 符 暴 


8.1.1 GRNN 神经 网 络 概述 


广义 所 | 归 神经 网 络 (GRNN ,Generalized Regression Neural Network) 是 美国 学 者 Don 
ald F，Specht 在 1991 年 提 出 的 , 它 是 径 向 基 神 经 网 络 的 -种 。GRNN 只 有 很 强 的 非 线性 贞 
射 能 力 和 和 采 性 网 络 结 移 以 及 高 度 的 容错 性 和 名 棒 性 ,适用 于 解决 韭 线性 问题 。GRNN 在 送 近 
能 万 和 学 习 速度 上 较 RBF 网 络 有 更 强 的 优势 ,网 络 最 后 收敛 于 样本 量 积聚 较 多 的 优化 回归 
咽 , 并 卫 在 样本 数据 较 少 时 , 顶 测 效果 也 较 好 。 此 外 ,网 络 还 可 以 处 理 不 稳定 的 数据 。 因 此 ， 
GRNN 在 信号 过 程 . 结 构 分 析 、 教 育 产 业 .能源 .食品 科学 .控制 决策 系统 ,药物 没 计 、 人 金融 领 
域 .生物 上 程 等 各 个 领域 得 到 了 广泛 的 应 用 。 


8.1.2 GRNN 的 网 络 结 构 


GRNN 在 结 愧 上 与 RBF 网 络 较为 相似 。 它 山 四 层 构 成 ,如 图 8 - 1 所 示 , 分 唱 为 输入 屋 
(Cinput layer)、 模 式 层 (pattern layer) , 求 和 居 (summation layer) 利和 输出 层 (output layer)。 对 
应 网 络 输 入 天 一 [rzrsyvzs] ,其 输出 为 了 一 [Lo 

输入 层 模式 大。 求 和 层 。 条 出 屋 


图 8-1 广义 回归 网 络 结构 图 
(1) 输入 层 
输入 层 神 经 元 的 数 日 等 于 学 习 样 本 中 输入 向 其 的 维 数 ,各 神经 元 是 简单 的 分 布 单 雹 , 眶 接 
将 输入 变量 传递 给 模式 层 。 
(2) 摸 式 层 
简 式 凡 神经 元 数 日 等 于 学 习 样本 的 数 日 .各 神经 元 对 应 不 同 的 样本 ,模式 层 神 经 元 传递 
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函数 为 
(KX— XITX— X) 
ee 

神经 元 ; 的 输出 为 输入 变量 与 其 对 应 的 样 不 X 之 间 Euclid 距离 平方 的 指数 平方 太一 
(xX 一 XTCX 一 多 ) 的 指数 形式 。 式 中 ,X 为 网 络 输 和 变量 ;X 为 第 个 神经 元 对 应 的 学 
样 小 。 

(3) 求 和 层 

求 和 凤 中 使 用 两 种 类 型 神经 元 进行 求 和 。 

一 类 的 计算 公式 为 Dexp|[ 一 人 一 六 一 其 ] , 它 对 所 有 模式 层 神经 元 的 输出 进行 
算 不 求 和 ,其 模式 层 与 各 神经 元 的 连接 权 值 为 1 ,传递 晒 数 为 

so = DP, 

另 一 类 计算 公式 为 PY.exp| 一 伐 一 人 3 一 各] , 它 对 所 有 模式 层 的 神经 元 进行 加 
权 求 和 ,模式 层 中 第 i 个 神经 元 与 求 和 层 中 第 j 个 分 子 求 和 神经 元 之 间 的 连接 权 值 为 第 个 输 
出 样本 Y 中 的 第 ; 个 元 素 ,传递 函数 为 


Sy = DP 1=12.k 


2 


(4) 输出 层 
答 出 层 中 的 神经 元 数目 等 于 学 习 样本 中 输出 向 量 的 维 数 &, 各 神经 元 将 求 和 层 的 输出 相 


除 ,神经 元 7 的 输出 对 应 估计 结果 YCX) 的 第 j 个 元 素 , 即 


y= Se 了 一 12 


8.1.3 GRNN 的 理论 基础 


广义 回归 神经 网 络 的 理论 基础 是 非 线性 回归 分 析 , 非 独立 变量 Y 相对 于 独立 变量 的 回 
归 分 析 实际 上 是 计算 具有 最 大 概率 值 的 y。 设 头 机 您 景 x 和 随机 灾 量 > 的 联合 概率 密度 消 数 
为 f(x,y) ,已 知 x 的 观测 值 为 X, 则 y 相对 于 于 的 回归 ,也 即 条 件 均 值 为 


[wmay 


Y= EyX) = 一: 
| fCX Wdy 


(8-1) 
了 即 为 在 输入 为 X 的 条 件 下 ,Y 的 预测 输出 。 
应 用 Parzen 韭 参 数 估计 ,可 由 样本 数据 集 {x,,y,}:-1 ,估算 密度 也 数 JX,y) 。 


; (X— XI'(X—X,) XY) 
ee 


式 中 ,X,Y; 为 随机 变量 x 和 y 的 样本 观测 值 in 为 样本 容量 ;p 为 随机 灾 其 工 的 维 数 ;o 为 高 
斯 基数 的 宽度 系数 ,在 此 称 为 光滑 因子 。 
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用 了 LX,y) 代 答 fCX,y) 代 入 式 (8 - 1) ,并 交换 积分 与 加 和 的 顺序 ， 


jo 《X 一 < 2 yexp -Ea Jy a 


Bop[- (XC— A | ” exp[— (CY 3 lay 


由于 | ze “de = 0 ,对 两 个 积分 进行 计算 后 可 得 网 络 的 输出 YCX) 为 


DY,exp[— (一 2 X= 2] 
Y= RR X) 873) 
Sl 


1 


个 计 值 Y(X) 为 所 有 样 万 观测 值 Y; 的 加 权 平 均 , 每 个 观测 值 了 ,的 权重 因子 为 相应 的 样本 
X; 与 XX 之 间 Euclid 距离 平方 的 指数 。 当 光滑 因子 非常 大 的 时 候 ,Y(X) 近 似 于 所 有 样本 因 
变量 的 均值 。 相 反 , 当 光滑 因子 趋向 于 0 的 时 候 , Y(X) 和 训练 样本 非常 接近 , 当 需 预测 的 
点 被 包含 在 训练 样 汪 集中 时 ,公式 求 出 的 因 变量 的 预测 值 会 和 样本 中 对 应 的 因 变量 非常 接近 ， 
而 一 电 继 到 样本 中 未 能 包含 进去 的 点 ,有 可 能 预测 效果 会 非常 差 , 这 种 现象 说 明 网 络 的 泛 化 能 
力 差 。 当 取 值 适 中 , 求 预测 值 Y(X) 时 ,所 有 训练 样本 的 因 变 量 都 被 考虑 了 进去 ,与 预测 点 虐 
离 近 的 样本 点 对 应 的 因 变 量 被 加 了 更 大 的 权 。 


8.1.4 运输 系统 货运 量 预 测 相 关 篆 景 


运输 系统 作为 社会 经 济 系统 中 的 一 个 子 系统 ,在 受 外 界 因素 影响 和 作用 的 同时 ,对 外 部 经 
济 系统 也 具有 一 定 的 反作用 ,使 得 运输 需求 同时 受到 来 自 运输 系统 内 外 此 方 面 因素 的 影响 。 
作为 运输 基础 设施 建设 投资 决策 的 基础 ,运输 需求 顶 测 在 国家 和 区 域 经 济 发 展 规划 中 具有 十 
分 重要 的 作用 ,其 中 ,由 于 货物 运输 和 地 方 经 济 及 企业 发 展 的 紧密 联系 ,货运 需求 预测 成 为 货 
运 需求 和 经 济 发 展 关系 研究 中 的 一 个 重要 问题 。 央 此 ,作为 反映 货物 运输 需求 的 一 项 重要 指 
标 ,货运 量 预测 研究 和 分 析 具 有 较 强 的 实际 和 理论 意义 。 

常用 的 货运 量 预 测 方法 包括 时 问 序列 方法 ,移动 平滑 法 、 指 数 平滑 法 、 随 机 时 间 序 列 方法 、 
相关 ,回归 分 析 法 以 及 灰色 预测 方法 和 多 种 方法 综合 的 组 合 项 测 方法 等 。 这 些 方法 大 都 集中 
在 对 其 因果 关系 回归 模型 和 时 间 序 列 模型 的 分 析 上 ,所 建立 的 模型 不 能 全 面 .科学 和 本 质地 反 
映 所 预测 动态 数据 的 内 在 结构 和 复杂 特性 ,丢失 了 信息 量 。 人 工 神 经 网 络 作为 一 种 并 行 的 计 
算 模 型 ,具有 传统 建 模 方法 所 不 具备 的 很 多 优点 :有 很 好 的 非 线性 瑞 射 能 力 ,对 被 建 模 对 象 的 
先 验 知识 要 求 不 多 ,一 般 不 必 事 先知 道 有 关 被 建 模 对 象 的 结构 .参数 .动态 特性 等 方面 的 知识 ， 
只 需 给 出 对 象 的 输入 、 输 出 数据 , 道 过 网 络 本 身 的 学 习 功能 就 可 以 达到 输入 与 输出 的 完全 
符合 。 

在 此 情况 下 ,国内 - - 些 学 者 将 神经 网 络 引 人 到 货运 量 预测 中 来 。 但 BP 神经 网 络 在 用 于 
圾 数 逼 近 时 ,存在 收 分 速度 慢 和 局 部 极 小 等 缺点 ,在 解决 样本 量 少 而 旦 噪声 较 多 问题 时 效果 并 
不 理想 。GRNN 在 逼近 能 力 、 分 类 能 力 和 学 习 速 度 方面 具有 较 强 优 势 网 络 最 后 收 敏 于 样本 量 
积聚 最 多 的 优化 回归 而 ,并 且 在 数据 缺乏 时 效果 也 较 好 。 网 络 可 以 处 理 不 稳定 的 数据 ,因此 本 
案例 采用 GRNN 建立 了 货运 基 预 测 模型 ,并 利用 访 史 统计 数据 对 货运 量 进行 预测 。 
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8.2 模型 建立 


根据 货运 量 影响 因素 的 分 析 , 分 别 取 国内 生产 总 值 {GDP] ,工业 总 产值 ,铁路 运输 线路 长 
度 ,复线 里 程 比重 ,公路 运输 线路 长 度 ,等 级 公路 比重 ,铁路 货车 数量 和 民用 载 货 汽车 数量 8 项 
指标 因素 作为 网 络 输入 , 以 货运 总 量 ,铁路 货运 量 和 公路 货运 量 3 项 指标 因素 作为 网 络 输出 ， 
构建 GRNN ,由 于 训练 数据 较 少 ,采取 交叉 验证 方法 训练 GRNN 神经 网 络 , 并 用 循环 找 出 最 佳 
的 SPREAD。 

本 案例 中 data, mat 中 共有 pt 两 组 数据 ,又 各 含 13 组 数据 , 代 安 了 1996 2008 年 的 货 
运 量 和 与 其 相关 的 各 个 变 基 值 。 将 p,t 的 前 12 组 数据 作为 网 络 的 训练 数据 ,最 后 1 组 数据 作 
为 网 络 的 预测 数据 ,建立 GRNN 神经 网 络 对 货运 量 进行 预测 。 


8.3 MATLAB 实现 


GRNN 网 络 的 相关 随 数 ,其 淆 数 名 称 为 newgrnn()。 
该 函数 可 用 于 设计 一 个 广义 回归 神经 网 络 。 广 义 国 归 神 经 网 络 是 RBF 网 络 的 种 ,通常 
川 于 随 数 送 近 。 其 调用 格式 为 


net = newgrnn(P,T,SPRERD) 


其 中 .P 为 Q 组 输入 向 语 组 成 的 Rx Q 维系 阵 洒 为 Q 组 日 标 分 类 向 其 组 成 的 Sx* Q 维 知 阵 ; 
SPREAD 为 径 向 基 顺 数 的 扩展 速度 .默认 值 为 1。 

根据 上 面 确定 的 网 络 输 入 和 输出 ,利用 1996 一 2007 年 某 地 的 历史 数据 作为 网 络 的 训练 样 
本 ,2008 年 的 数据 作为 岗 络 的 外 排 测 试 样 全 。 代 码 如 下 (chapter8. 1, m): 


名 名 清空 环境 变量 
clc， 

clear all 

close all 


ntwarn offs 


$$ 载 人 数据 


load data; 
$ 载 人 数据 并 将 数据 分 成 训练 和 预测 两 类 
P_train= pt1:12，:)+ 


ttrain= t(1:12,: 
p_test= p13,:)s 

t test= ttl13,:)s 

# 多 交叉 验证 
desired spread = []; 


nse_nax = 10e20 
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mamit oveMorlob,en 
desired_input = [J 
desired output = []; 
result_perfp=[]s 
indices = crossvalind(' Kfold',length(p train)},4), 
bh= waitbar(0, 正 在 寻找 最 优化 参数 ....") 


k=1; 

fori=1:4 
Perfp=[]; 
disp 人 [以 下 为 第 ',num2str(i, 次 交叉 验证 结果 ]) 
test = (indices = = i}); train = 一 上 test 


Pov train= ptrain(train,: 
tov train= t_train(train, :); 
Pcv test = p_train(test, :); 

t cv test=t train(test,:); 
pecv train=p cv train’'y 

tev train=t_cv train 全 


pcv test= p cv test's 


tcv test= t cv test's 


[p_cv_train,minp,naxp,t_cv_train,nint ,maxt] = premnax(p_cv_train,t_ev_ train)y 
peov_test = tramnnx(p_cv_test, ninp, maxp)’s 
for spread = 0.1:0.1 


net = newgrnn(p_cv_train,t_cv._train, spread) 
waitbar(k/80,h); 
disp 人 [当前 spread 值 为 ', num2str(spread)]); 
test Out = sim(net,p cv_test)y 
test_Out = postmnmx(test_Out ,mint, naxt); 
error =t_cv_test - test_Out; 
disp([ 当 前 网 络 的 mse 为 ',num2str(nse(error))]) 
perfp = [perfp mse(error)]; 
证 mge(error)<<amse_max 
nse_max = mse(error)s 
desired_spread = spread; 
desired input = p_cv._trains 
desired output = t_cv_traini 
end 
k=k+li 
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end 


result_perfp(i, :) = perfps 
end 

close(h) 

disp([ 最 佳 spread 值 为 ,nun2etr(desired_spread)]) 
disp([ 此 时 最 佳 输入 值 为 ]》 
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disp([ 此 时 最 佳 输出 值 为 ]) 
desired_output 
和 和 采用 最 佳 方法 建立 GRNN 网 络 
net = newgrnn(desired, input, desired_output,desired_spread) ; 
ptest=p test'; 
ptest = tramnmx(p_test ,ninp, Naxp); 
grnn_prediction result = sin(netp_test): 
grnn_prediction_result = postmnmx(grnn_prediction_result,mint,naxt); 
grnn_error = t_test - grnn prediction resvlt's 
disp(' GRNN 神经 网 络 三 项 流量 预测 的 误差 为 ) 
abs(grrn_error) 
save best desired_input desired_output p_test t_test grnn_error mint maxt 


若 | 结果 如 下 : 

您 

对 最 佳 spread 值 为 0.7 

党 此 时 最 佳 输 入 值 为 

息 

租 desired input = 

任 

复 -1.0000 -0.8993 -0.794g -0.5023 -0.0574 0.1602 0.3838 
问 0.6652 1.0000 

可 -0.9998 -1.0000 -0.1291 -0.0072 0.3417 0.5137 0.6187 
以 0.7838 1.0000 

轩 -1.0000 -0.8616 -0.4969 -0.4969 0.3333 0.4465 0.6478 
线 0.6604 1.0000 

六 -1.0000 -0.5385 ~0.0769 0.5385 0.3846 0.3846 0.6923 
卡 0.6923 1.0000 

本 一 1.0000 ~0.9429 -0.9175 ~0.7778 -0.3270 -0.0286 0.2508 
区 0.5619 1.0000 

-1.0000 -1.0000 -1.0000 -0.5000 -0.2000 0.0000 0.2000 
外 0.5000 1.0000 

加 0.0141 一 1.0000 0.0187 0.0187 0.3682 0.4944 0.6195 
论 0.7735 1.0000 

网 -1.0000 -0.9211 -0.8826 -0.9563 ~0.6099 -0.3042 一 0.0318 
作 0.2843 1.0000 

者 

交 

流 此 时 最 佳 输出 值 为 


desired output = 


—1.0000 一 0.9839 一 0.9838 一 0.3127 一 0.2463 0.0126 0.2862 
0.5394 1.0000 
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-1.0000 一 0.9040 一 0.8604 一 0.6403 一 0.2293 一 0.0769 0.2124 
0.4116 1.0000 
一 1.0000 一 0.8020 一 0.8042 -0.5446 一 0.0500 0. 0416 0.2505 


0.4693 1.0000 


SRNN 杭 经 网 络 三 项 流量 预测 的 误差 为 28106. 967 15245.9913 21653. 0686 

由 程序 运行 后 的 结果 中 看 出 ，SPREAD 值 设 喧 为 0. 7 时 ,训练 数据 的 硕 测 较 好 。 
SPREAD 值 越 小 ,网 络 对 样本 的 遏 近 性 就 越 强 ;SPREAD 什 越 大 ,网 络 对 样本 数据 的 通 近 过 程 
就 越 平 消 ,但 误差 也 相应 增 大 。 在 用 时 ,为 了 选取 最 佳 的 SPREAD 值 ，- 般 采 皮 本 案例 
中 循环 训练 的 方法 ,从 市 达 到 最 好 的 预测 效果 。 


8.4 环 例 扩展 


GRNN 神经 网 络 和 BP 网 络 玫 可 以 用 于 货运 基 等 的 顶 测 , 但 对 具体 的 网 络 训练 来 说 ， 
GRNN 需要 调整 的 参数 较 少 ,只 有 一 个 SPREAD 参数 ,因此 可 以 更 快 地 预测 网 络 , 基 有 较 大 
的 计算 优势 。 

下 面 将 针对 本 案例 数据 ,使 用 BP 神经 网 络 模型 预测 得 出 的 流量 数据 。 代 码 如 下 (chap- 


ter8. 2. m): 


多 和 以 下 程序 为 案例 扩展 里 的 GRNN 和 BP 比较 需要 load chapter8.1 的 相关 数据 
clear all 

load best 

n=13 

p= desired input 

t= desired_output 

net_bp = newff(minmax(p} ,En,3],{" tansig', purelin'),' trainlm')} 

名 训练 网 络 

net. trainParan show = 50; 

net. trainFaram epochs = 2000; 

net. trainParan goal = 1e— 3; 

调用 TRAINLK 算法 训练 了 网 络 

net bp= trainf(net_bpypyt)i 

bp_prediction result = sin(net_bp,p_test); 

bp.prediction result = postmnmx(bp_prediction_result ,mint, maxt); 
bp_error=t test ~ bp prediction result'; 

disp([BP 神经 网 络 三 项 流量 预测 的 误差 为 ,num2str(abs(bp_error))]) 


结果 如 下 : 
BP 神经 网 络 三 项 流量 顶 测 的 误差 为 15774. 4287 13249.1823 27806. 9352 


由 此 可 见 ,BP 神经 网 络 在 对 于 此 类 数据 的 顶 测 结 末 上 同 (GRNN 神经 网 络 预测 结果 基本 
一 儿 。 
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第 9 章 离散 Hopfield 神经 网 络 的 联想 记忆 
一 -数字 识别 


9.1 染 例 更 虹 


9.1.1 离散 Hopfield 神经 网 络 概 述 


Hopfield 网 络 作 为 … 种 全 连接 型 的 神经 网 络 , 曾 经 为 人 TT 神经 网 络 的 发 展开 辟 了 新 的 研 
究 途 径 。 它 利用 与 阶层 型 神经 网 络 不 同 的 结构 特征 和 学 习 方 法 ,模拟 生物 神经 网 络 的 记忆 机 
理 ,获得 了 令 人 满意 的 结果 。 这 一 网 络 及 学 习 算 法 最 初 是 由 美国 物理 学 家 由] Hopfield 于 
1982 年 首先 提出 的 , 故 称 为 Hopfield 神经 网 络 。 

Hopfield 最 早 提 册 的 网 络 是 二 值 神 经 网 络 , 神 经 元 的 输出 从 取 1 和 一 1, 所 以 ,也 称 离散 
Hopfield 神经 网 络 (DHNN, Discrete Hopfield Neural Network)。 在 离散 Hopfield 网 络 中 ， 
所 采用 的 神经 元 是 二 值 神经 元 ,因此 ,所 输出 的 离散 和信 1 和 一 上 分别 表示 神经 元 处 于 激活 和 抑 
制 状态 。 

1, 网 络 结构 

DIINN 是 一 种 单 层 .输出 为 = 值 的 反馈 网 络 。 假 没有 一 个 由 三 个 神经 元 组 成 的 离散 
Hopficld 神经 网 络 ,其 结构 如 图 9 -1 所 示 。 


第 0 歧 


yn 六 六 


图 9-1 离散 Hopfield 网 络 结构 
在 图 9 1 中 ,第 0 层 仪 仅 作为 网 络 的 输入 , 它 不 是 实际 神经 元 ,所 以 无 计算 急 能 ;第 1 央 
元 ,故而 执行 对 和 输 人 信息 与 权 系 数 的 乘积 求 累 加 和 ,并 经 非 线性 函数 / 处 理 后 产生 输 
息 。 /是 一 个 简单 的 阐 值 两 数 ,如 果 神 经 元 的 输出 信息 大 于 阅 值 9, 那么 ,神经 元 的 输出 取 
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YTLLY 内 济 迪 六 沪 内 洁 族 访 和 对 


hover 
值 为 1; 小 于 阔 值 90, 则 神经 元 的 输出 到 值 为 一 1。 
对 于 二 值 神经 元 , 它 的 计算 公式 如 下 : 
wi = Dwsy, tz 9 


式 中 ,x 为 外 部 输入 。 并 且 有 
[9 一 1 衬 及 
» 一 一 1 二 世 
一 个 DHNN 的 网 络 状态 是 输出 神经 元 信息 的 集合 ,对 于 一 个 输出 层 是 "个 神经 元 的 网 
络 , 其 :时 刻 的 状态 为 个” 维 向 量 : 
YD) = Ly Cy Dy] (9-3) 
因为 y%(GOG=12, 人 可 以 取 值 为 1 或 一 1, 故 交 维 向 量 Y(0 有 2 种 状态 , 即 网 络 有 2” 
种 状态 。 装 虑 DHNN 的 一 般 节 点 状态 ,用 y; (2) 表 示 第 7 个 神经 元 , 即 节点 j 在 时 刻 t 的 状 
态 , 则 节点 的 下 一 个 时 刻 (十 1) 的 状态 可 以 求 得 : 


《9 一 2) 


(D0 
— l(t) 0 


w+) = Fa] 一 《9 一 4) 


wD) = > aoyi(D 十 思 一 四 (9-5) 
写 


如 果 沁 , 作 i =j 时 等 于 0, 说 明 一 个 神经 元 的 输出 并 不 会 反馈 到 其 输入 ,这 时 ,DHNN 称 
为 无 自 反 馈 的 网 络 。 如 果 tw, 在 i 二 j 时 不 等 于 0, 说 明 一 个 神经 元 的 输出 会 反馈 到 共 输 入 端 ， 
这 时 ,DHNN 称 为 有 自 反馈 的 网 络 。 

2. 网 络 工作 方式 

Hopfield 网 络 按 动 力学 方式 运行 ,其 工作 过 程 为 神经 元 状态 的 演化 过 程 , 即 从 初始 状态 
按 * 能 量 "(Lyapunov 丽 数 ) 减 小 的 方向 进行 演化 ,直到 达到 稳定 状态 ,稳定 状态 即 为 网 络 的 
输出 。 

Hopfield 网 络 的 工作 方式 主要 布 末 种 形式 ， 

人 @ 中 行 (异步 ) 工 作 方式 。 在 任 -时 刻 ,只 有 菜 一 神经 元 以 随机 的 或 确定 的 选择 ) 依 式 (9 - 
4) 与 式 (9 -5) 人 变化 ,而 其 他 神经 元 的 状态 不 变 。 

@@ 并 行 (同步 ) 工 作 方 式 。 在 任 一 时 刻 ,部 分 神经 元 或 侈 部 神经 元 的 状态 同时 改变 。 

下 面 以 串 行 (异步 ) 工作 方 式 为 例 说 明 Hopfield 网 络 的 运行 步骤 : 

步骤 1: 对 网 络 进行 初始 化 。 

步骤 2: 从 网 络 中 随机 选取 一 个 神经 元 

步骤 3: 计算 该 神经 元 i 的 输入 u,(1)。 

步骤 4: 计算 该 神经 元 的 输出 w(t 一 1) ,此 时 网 络 中 其 他 神经 元 的 输出 保持 不 变 。 

步骤 5: 判断 网 络 是 否 达到 稳定 状态 , 若 达到 稳定 状态 或 满足 给 定 条 件 则 结束 :否则 转 到 
步 野 2 继续 运行 。 

这 里 网 络 的 稳定 状态 定义 为 :车 网 络 从 某 “时刻 以 后 ,状态 不 再 发 生 空 化 , 则 称 网 络 处 于 

TV 十 At = ui At>0 《9 一人) 

3. 网 络 稳定 性 

从 DHNN 的 结构 串 以 看 出 : 它 吓 .种 多 输入 .含有 阔 值 的 二 值 非 线性 动态 系统 。 在 动态 
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系统 中 .平衡 稳定 状态 可 以 理解 为 系统 某 种 形式 的 能 量 函 数 在 系统 运动 过 程 中 ,其 能 电 倘 不 类 
减 小 ,最 后 处 于 最 小 值 。 

Coben 和 Grossberg 在 1983 年 给 出 了 关于 Hopfield 网 络 稳 定 的 充分 条 件 , 他 们 指出 : 
果 Hopfield 网 络 的 权 系 数 扼 阵 W 是 一 个 对 称 和 矩阵 ,并 有 对 角 线 万 素 为 0, 则 这 个 网 络 是 
的 。 即 在 权 系 数 矩 阵 W 中 ,如 果 


0 009-7) 


Ww = Wwf EI 
则 Hopfield 网 络 是 稳定 的 。 详 细 推 芝 过 程 见 参 考 文献 L1]~[3]。 
应 该 指出 ,这 只 是 Hopfield 网 络 稳定 的 充分 条 件 ,而 不 是 必要 条 件 。 在 实际 中 有 很 多 稳 


定 的 Hopfield 网 络 , 但 是 它们 并 不 满足 权 系数 矩阵 W 是 对 称 年 阵 这 -条 件 。 
9.1.2 数字 识别 概述 


在 日 常 牛 活 中 ,经 常会 遇 到 带 曲 声 字符 的 识别 问题 ,如 交通 系统 中 汽车 车 号 和 汽车 牌照 ， 
由 十 汽车 在 使 用 过 程 中 ,要 经 受 自然 球 境 的 风 吹 晶 晒 , 造 成 字体 模糊 不 清 , 难 以 辨认 。 如 何 从 
这 些 残缺 不 全 的 字符 中 扫 取 完整 的 信息 ,是 字符 识别 的 关键 问题 作为 字符 识别 的 组 成 部 分 
之 一 ,数字 识别 在 邮 收 ,交通 及 商业 票据 管理 方面 有 着 极 高 的 应 用 价值 。 


日 前 有 很 多 种 方法 用 于 字符 识别 ,主要 分 为 神经 网 络 识别 ,概率 统计 识别 和 异 糊 识别 等 。 


传统 的 数字 识别 方法 在 有 干扰 的 情况 下 不 能 很 好 地 对 数字 进行 识别 ,市 离 散 型 Hopfield 神经 
网 络 其 有 联想 记忆 前 切 能 ,利用 这 一 功能 对 数字 进行 识别 o 串 以 反 得 令 人 满意 的 效果 , 首 呈 计算 
的 收敛 速度 很 快 。 
9.1,3 问题 描述 

根据 Hopfield 神经 网 络 相关 知识 ,设计 一 个 具有 联想 记忆 功能 的 离散 型 Hopfield 神经 网 
络 。 要 求 该 网 络 可 以 正确 地 识别 0~9 这 10 个 数字 , 当 数 字 被 一 定 的 阳 声 干扰 后 , 仍 具 有 较 好 
的 识别 效果 。 


9.2 模型 建立 


9.2.1 设计 思路 


假设 网 络 由 0 一 9 共 10 个 稳 态 构成 ,每 个 稳 态 用 10X 10 的 矩阵 表示 。 该 矩阵 直观 地 描述 
模拟 阿拉 伯 数 字 , 即 将 数字 划分 成 10X 10 的 矩阵 ,有 数字 的 部 分 用 1 表示 ,空白 部 分 用 一 1 表 
未 ,如 图 9 - 2 所 示 。 网 络 对 这 10 个 稳 态 即 10 个 数字 (点 阵 ) 具 有 联想 记忆 的 功能 , 当 厂 带 品 


声 的 数 阵 输入 到 该 网 络 时 ,网 络 的 输出 便 可 以 得 到 最 接近 的 中标 向 曼 ( 即 10 个 稳 念 ), 从 
而 达到 止 确 识 别 的 效果 。 


9.2.2 设计 步骤 
在 此 思路 的 基础 上 ,设计 Hopficld 网 络 需要 经 过 以 下 儿 个 步 又 ,如 赂 9-3 所 水 。 
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图 9~3 Hopfield 网 络 设计 流程 图 


1， 输 入 输出 设计 一 一 设计 数字 点 阵 10 一 9 
如 图 9- 2 所 示 , 有 数字 的 部 分 几 1 表示 ,空白 部 分 用 一 1 表示 , 即 可 得 到 数字 1 和 数字 2 


1 1-1-1-1 -1;-i-1-1-1 1 1 

1 1-1-1-1 -i;-*1 -1-1-1 11 

1 121-1-1 -1l;-1 -1-1-1 11 

1 i171-1-1 -1;-l1-i*1-1 1 工 

1 111-1-1-1 -17-1 -1 -1-1l 1 1-1-1-1 -il; 

Bray_two=tfr 1 1 111111-1-1 1 1111 
-1 -1-1-1 -1~1*1 1 1 -1;-1 -1 -1~1 -1-1 
-Ti11111111r1 11111 

-1 1 1-1-1-1 -1 -1~1 -1;-1 1 1-1-1~1 

-i 1i11i11111.-1;-l1 1111111 


其 他 的 数字 点 阵 以 此 类 推 。 

2， 创建 Hopfield 网 络 

MATLAB 神经 网 络 工 具 箱 为 Hopfield 网 络 提供 了 一 些 工具 锋 数 。10 个 数字 点 阵 , 即 
Hopfield 网 络 的 月 标 向 量 确定 以 后 ,可 以 借助 这 些 郑 数 ,方便 地 创建 Hopfield 网 络 。 其 体 过 
程 见 MATI.AB 实现 部 分 。 

3. 产生 带 噪声 的 数字 点 阵 

带 嗓 声 的 数字 点 阵 , 即 点 阵 的 某 些 位 置 的 值 发 生 了 变化 。 模 拟 产 生 带 唤 声 的 数字 第 阵 方 
法 有 很 多 种 ,由 于 篇 帖 所 限 , 本 书 仅 列 举 两 种 比较 常见 的 方法 :固定 噪声 产生 法 和 随机 噪声 产 
牛 法 。 

4. 数字 识别 测试 

将 带 咒 声 的 数字 点 阵 输入 到 创建 好 的 Hopficld 网 络 ,网 络 的 输出 是 与 该 数字 点 阵 最 为 接 
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近 的 日 标 向 莫 , 即 0 一 9 中 的 某 个 数字 ,从 而 实 瑞 联想 记忆 的 功能 。 
$5. 结果 分 析 
对 测试 的 结果 进行 分 析 、 比 较 , 道 过 大 其 的 测试 米 答 让 Hopfield 网 络 用 于 数字 识别 的 可 
行 性 与 有 效 性 。 


9.3 Hopfield 网 络 的 神经 网 络 工具 箱 驯 数 


MATLAB 神经 网 络 工具 箱 中 了 包含 了 许多 有 于 Hopfield 网 络 分 析 与 设计 的 函数 .本 节 将 
详细 涪 明 常 用 的 应 个 随 数 的 功能 、 滑 用 格式 以 及 参数 意义 等 。 
9.3.1 Hopfield 网 络 创建 函数 

newhop() 函 数 用 于 创建 一 个 离散 型 Hopfield 神经 网 络 , 其 调用 格式 为 ; 

net = mnewhob(T) 1 

其 中 ,T 是 具有 Q 个 日 标 向 量 的 RXQ 矩阵 (元 素 必须 为 一 1 或 1);net 为 生成 的 神经 网 络 , 具 
有 在 工 中 的 向 量 上 稳定 的 点 。 

Hopfield 神经 网 络 仅 有 一 层 , 共 激 活 函 数 用 satlins() 请 数 。 
9.3.2 Hopfield 网 络 仿真 函数 

sim() 蚁 数 用 于 对 神经 网 络 进行 仿真 ,其 调用 格式 为 ; 


[Y,aE,E,perf] = simfnet,P,RiyT) 

[YaAt,E,perft]j = sim(net, {Q TS}, 
其 中 ,P,Q 为 测试 向 景 的 个 数 ;Ai 表示 初始 的 层 延 时 ,点 认为 0;T 表示 测试 向 量 (矩阵 或 元 胞 
数组 形式 ); TS 为 测试 的 步 数 ;Y 为 网 络 的 输出 矢量 ;Af 为 训练 终止 时 的 晨 延 迟 状 态 ;F 为 误 
差 矢量 ;perf 为 网 络 的 性 能 。 

函数 中 用 到 的 参数 采取 了 两 种 不 同 的 形式 进行 表示 : 倚 阵 和 元 胞 数组 。 矩阵 的 形式 只 用 
于 仿真 的 时 间 步 长 TS=1 的 场合 ,元 胞 数组 形式 常用 于 - - 些 没 有 输入 信忠 的 神经 网 络 。 


9.4 MATLAB 实现 


利用 MATLAB 神经 网 络 1- 具 箱 提供 的 陌 数 , 将 设计 步 又 一 一 在 MATLAB 环境 下 实现 。 
9.4.1 输入 输出 设计 


由 于 篇 幅 所 限 , 本 书 仅 以 数字 1 和 数字 2 为 例 , 利 用 这 两 个 数字 点 阵 构 成 训练 样本 本 : 
多 训练 样本 


T= [array onesarray twol; 


9.4.2 网 络 建立 
利用 闻 面 讲 到 的 newhop() 范 数 可 以 方便 地 创建 一 个 离散 型 Hopfield 神经 网 络 : 
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% 名 创建 topfield 神经 网 络 


net = newhop(T); 


9.4.3 产生 送 品 上 声 的 数字 点 阵 

如 前 文 所 述 , 本 书 将 介绍 末 种 常 拖 的 模拟 产 牛 东 噪 声 数字 的 方法 :国定 喉 声 产生 法 和 随机 
品 店 产生 法 。 

1. 国定 噪声 产生 法 

固定 噪声 产生 法 又 称 人 工 产 牛 法 , 指 的 是 用 人 工 修改 的 方法 改变 数字 点 阵 某 些 位 置 的 值 ， 
从 而 模拟 产生 带 噪声 的 数字 点 阵 。 比 如 ,数字 1 和 2 的 点 阵 经 过 修改 后 的 带 噪声 数字 点 阵 
变 为 : 

%$% 了 抽 定 唉 声 


-1 11 ll 1 1-1-1-l 
1 11-1;-1 1 1-1 11 


-1 1 
-1 1 


noisy array one=f-1 -1~-1-1 1 1 -1 -1-1-1l;-1 -1 1-1 1 
-1-1 1-1 1 1-1-1-1-1l;-1-l1-1-1 1 
-1 -1-1-l1-l 1-1 -1-1-l;-1-1-1-1 1 
-41-1-1-1 1 1-1-1~-1-1l;-l 1-1-1 1 
-1 -1-1 -1-1 1 -1-1-t-1;-l1-1-l1-1 1 
noisy array two={-1 1 1 1-1 1 1-l 1-1; -1 1 1 11 
-1 -1 -1 -1 1 1-1;-1-l -1 1-1 
-1 1 1 111-1;-1 1 111 
-1 
1 


如 果 希 单产 生 不 同 的 带 噪声 的 数字 怎 阵 ,需要 人 工 做 多 次 的 修改 ,这 无 疑 是 比较 麻烦 的 。 
相 比 较 而 言 ,随机 噪声 产生 法 可 以 方便 地 产生 各 种 类 型 的 带 噪声 的 数字 怎 阵 。 

2. 随机 噪声 产生 法 

随机 噪声 产生 法 ,利用 产生 随机 数 的 方法 米 确定 需要 修改 的 点 阵 位 置 , 进 而 对 数字 点 阵 进 
行 修改 。 由 于 数字 点 阵 中 的 值 只 有 1 和 --1, 所 以 这 里 的 修改 就 是 将 "1" 换 成 “一 1”,“ 一 1" 换 成 
“1"。 带 噪声 的 数字 1 和 2 的 数字 点 阵 产生 程序 如 下 : 


和 和 随机 噪声 
noisy_array_one = array_ones 
noisy array_two = array_twos 
for i=1:100 

a= rand; 

if a<0.1 


noisy array._oneCi 


array one(i); 
noisy array_ two(i) = - array two(i); 
end 


end 


9.4.4 数字 识别 测试 
利用 MATLAB 神经 网 络 工具 箱 中 的 sim() 耳 数 ,将 带 噪声 的 数字 点 阵 输 入 已 创建 好 的 


第 9 章 离散 Hopfield 神经 网 络 的 联想 记忆 一 数字 识别 a 
Hopfield 网 络 ,使 呆 以 对 带 噪声 的 数字 点 阵 进行 识别 。 实 再 的 程序 如 下 ， 
# *Y 仿真 测试 


noisy_one= {(noisy array one)'); 


identify one= sin(net, {10,10},{} ,noisy one); 
identify one{10}' 

noisy two= {(noisy array.two)'}: 

identify_ two = sim(net, {10,10},{} ,noisy two); 
identify two{10)’ 


9.4.5 结果 分 析 


1， 结 果 显 示 
考虑 到 仿真 结果 的 直观 性 和 可 读 性 ,将 程序 中 的 数字 点 阵 以 图 形 的 形式 呈现 给 广大 读 背 。 
有 具体 的 程序 如 下 ， 


名 名 绘图 

subplot(3,2,1) 

array_one = inresize(array_one,20); 
inshow(Array_one) 

上 title standard number 1') 
subplot(3,2,2) 

Array_two= imresize(array two,20), 
inshow(Array._two) 

title(' standard number 2") 
subplot(3,2,3) 

Noisy array one = inresize(noisy array_one,20); 
imshow( Noisy_array_one) 

titlel' noisy number 1°) 

subplot(3,2,4) 

Noisy array two = imresize(noisy array. two,20); 
inshow( Noisy_array_two) 

t 计 le( noisy momber 2°) 

subplot(3,2,5) 

imshow( imresizet identify one{10})',20)) 
title( identify number 1") 
subplot(3,2,6) 

imshow( imresizel identify_two{10}',20)) 
title( identify number 2') 


说 明 : 

加 subplor(m mp 函数 出 于 在 同 -个 图 形 中 绘制 mw 行列 共 m Xn 个 子 图 ,p 为 当前 画 
的 子 图 的 位 置 , 其 值 范围 是 1~mXxn。 

加 imresize(A,scale) 函 数 可 以 实现 图 形 的 缩放 , 当 scale>>1 时 为 放大 ,0<scale<<l 时 为 
缩小 。 
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图 imshow( 有 D 亲 数 将 斤 阵 工 所 对 应 的 网 形 蜡 于 出 来 。 
固定 噪 志 产生 法 和 随机 噪声 产生 法 程序 运行 结果 分 别 如 图 9 -4 和 图 9 -5 所 未 。 


标准 (数字 由 标准 (数字 2) 标准 (数字 标准 (数字 2) 
噪声 (数字 刷 噶 声 (数字 2) 噪声 (数字 由 哄 声 (数字 2) 


园丁 [| 

| Nn" 

a 

诬 曾 {数字 让 识别 (数字 2) 二 诬 别 (数字 2) 


图 9-4 固定 噪声 产生 法 数字 识别 结果 图 9 -5 随机 噪声 产生 法 数字 识别 结果 
2.。 结果 分 析 
通过 观察 图 9 - 4 和 图 9 - 5, 串 以 看 到 ,通过 联想 记忆 ,对 于 带 一 定 噪 声 的 数字 点 阵 ， 
Hopfield 网 络 可 以 正确 地 进行 识别 。 


9.5 娄 例 扩展 


9.5.1 识别 效果 讨论 


图 9 -5 所 示 是 噪声 强度 为 0.1( 即 10 吧 的 数字 点 阵 位 置 值 发 生 了 改变 ) 时 的 识别 效果 ,从 
图 中 可 以 看 出 识别 效果 很 好 。 进 一 步 的 研究 发 现 , 随 着 噪声 强度 的 增加 ,识别 效果 逐渐 下 降 。 
噪声 强度 为 0. 2 和 0. 3 时 的 识别 结果 分 别 如 峰 9 - 6 和 图 9-7 所 示 , 从 图 中 不 难看 出 , 当 噪 声 
强度 为 0. 3 时 ,Hopfield 已 经 很 难 对 数字 进行 识别 。 


9.5.2 应 用 扩展 


离散 型 Hopfield 神经 网 络 其 有 联想 记忆 的 功能 。 近 年 米 , 越 来 越 多 的 研究 人 员 尝 试 着 将 
Hopficld 神经 网 络 应 用 到 各 个 领域 ,因此 解决 很 多 传统 方法 难以 解决 的 问题 .如 水 质 评价 ,发 
电机 上 故障 诊断 ,项 HH 风险 分 析 等 。 

将 一 些 优化 算法 与 离散 Hopfield 神经 网 络 相 结合 , 串 以 使 其 联想 记忆 能 力 更 强 ,应 用 效 
果 更 为 突出 。 例 如 ,由 于 一 般 离散 Hopfield 昼 经 网 络 存在 很 多 伪 稳 定点 ,网 络 很 难 达到 真正 
的 稳 态 。 将 遗传 算法 应 用 到 离散 liopfield 神经 网 络 中 ,利用 遗传 算 法 的 全 局 搜索 能 力 , 对 
lIopfield 联想 记忆 稳 态 进行 优化 ,使 待 联 想 的 模式 跳出 伪 稳 定点 ,从 而 使 Hopfield 网 络 在 较 


黄 蝶 信 比 的 情况 下 保持 较 高 的 联想 成 功率 。 


标准 ( 数 ' 产 器 标准 (数字 2) 株 准 (数字 1) 标准 (数字 2) 
赂 由 数字 中 呵 / 本 数字 21 蝶 声 (数字 2) 


r 至 
站 "av 
别 ( 数 字 丫 识别 ( 则 识别 (数字 D) 识别 (数字 2) 


明 上 月 上 昭 问 


-6 ， 阳 声 强度 为 小 2 时 的 识别 结果 图 9-7 噪声 强度 为 0.3 时 的 识别 结果 
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第 10 章 离散 Hopfield 神经 网 络 的 分 类 


10.1 娄 例 背景 


10.1.1 离散 Hopfield 神经 网 络 学 习 规 则 


离散 型 Hopfield 神经 网 络 的 结构 .工作 方式 .稳定 性 等 问题 在 第 9 章 中 已 经 进行 了 详细 
的 介绍 ,此 处 不 再 效 述 。 本 节 将 详细 介绍 离散 Hopfield 神经 网 络 仪 系数 矩阵 的 设计 方法 , 设 
计 权 系数 矩阵 的 目的 是 : 

中 保证 系统 在 异步 工作 时 的 稳定 性 , 即 它 的 权 值 是 对 称 的 ; 

名 保 让 所 有 要 求 记忆 的 稳定 平衡 点 都 能 收敛 到 自己 ; 

鲜 使 伪 稳 定点 的 数 日 尽 可 能 地 少 ; 

图 使 稳定 点 的 吸引 力 尽 可 能 地 大 。 

常用 的 设计 方法 有 :外 积 法 和 正 交 化 法 。 

1， 外 积 法 

对 于 一 给 定 的 需 记 忆 的 样本 向 量 {a, 震 ，… 信 } 如 果 上 的 状态 为 二 1 或 一 1, 则 其 连接 权 
值 的 学 对 可 以 利用 “外 积 规 则 ”, 即 


W= Ye) (10-1) 
利用 外 积 法 设计 离散 型 Hopfield 的 步骤 可 归结 为 ; 


步 又 1 :根据 需要 记忆 的 样本 和, 二， 人) , 按 式 (10 1) 计算 权 系 数 和 矩阵。 
步骤 2 : 令 测试 样本 刀 人 一 1,2，…m) 为 网 络 输出 的 初始 值 50) 二 pi 二 1,2,…,n) , 设 定 


达 代 次 数 。 
步骤 3 :进行 选 代 计 算 的 公式 为 
yatD = (wy,) (10 -2) 
步骤 4: 当 达到 最 大 迭代 次 数 或 神经 元 输出 状态 保持 不 变 时 ,迭代 终止 ;否则 ,返回 步骤 3 
继续 达 代 。 
2, 正 交 化 法 


MATLAB 神经 网 络 工具 箱 中 newhop( ) 函数 采用 的 权 值 修正 方法 即 为 正 交 化 法 ,总 体 调 
整 算法 如 下 ; 

步骤 1: 输 入 NN 个 输入 模式 1 二 4 让,… 及 参数 下。 

步骤 2: 计 算 4= {一 二 一 2 下} 

步 又 3: 对 村 做 奇异 值 分 解 4 一 Usvr， 并 计算 4 的 秩 开 一 rank(4)。 
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x 
步骤 4: 分 别 由 二 4 和 "一 {a} 计算 TT 一 DwiCw)T， 


T 一 六 CT 。 
区 
步 又 5: 计 算 形 ' 一 隧 一 zX 和 一 人 一 WY Xr。 
步骤 6: 计 算 W=cxp(hXwW)。 

CXICK) OK,N—K) 、 
O(N—K,K) Gx1cN~ Ky 
—[exp(—sXA)—1]/r. 
关于 正 交 化 法 的 公式 推导 和 样本 收敛 证 明 , 请 参考 文献 [2]。 


10.1.2 高 校 科研 能 力 评价 概述 


科研 能 力 是 高 校 的 核心 能 力 ,其 高 低 已 成 为 衡量 一 所 高 校 综合 实力 的 重 允 指标 。 科 研 能 
力 的 高 低 不 仅 影响 高 校 自 身 的 发 展 ,对 高 校 所 在 地 区 的 经 济 发 展 也 有 很 大 的 影响 。 如 何 准 确 
评价 高 校 的 科研 能 力 已 成 为 摆 在 政府 ,企业 和 高 校 面前 的 一 个 十 分 重要 的 问题 。 影 响 科 研 能 
力 的 因素 众多 , 且 互 相交 叉 、 开 相 渗透 和 互相 影响 ,无 法 用 确定 的 数学 模型 进行 描述 。 日 前 ,高 
校 科研 能 力 评价 方法 很 多 ,但 普 注 存在 工作 繁琐 \ 时 间 灌 后 等 缺点 ,是 人 为 主 疯 因素 对 评价 结 
果 有 很 大 的 影响 。 如 何 快速 ,准确 地 对 众多 高 校 的 科研 能 力 进行 客观 .公正 地 评价 ”这 是 一 个 
目前 亚 待 解决 的 问题 。 


10.1.3 问题 描述 


影响 高 校 科研 能 力 的 因素 很 多 ,本 书 仅 以 较为 重要 的 11 个 影响 因素 作为 评价 指标 ;科研 
队伍 (X,)、 科 研 基地 (X,) .科技 学 识 及 其 相应 的 载体 (图 书 情报 资料 ) (X, ) .科研 经 费 (X,) 、 科 
研 管理 (Xs*)、 信 息 接收 加 工 能 力 (X) ,学识 积累 与 技术 储备 能 力 (X,)、 科 研 技 术 创新 能 力 
(Xa) ,知识 释放 能 力 (Xs)、 自 适应 调节 能 力 (X,) .科学 决策 能 力 (Xi ) 。 

高 校 科研 能 力 一 般 分 为 五 个 等 级 :很 强 ( 了) . 较 强 ( 正 ) .一 般 (型 )、 较 差 (KY ) 及 很 差 (V ) 。 

某 机 构 对 20 所 高 校 的 科研 能 力 进行 了 调研 和 评价 , 试 根据 调研 结果 中 较为 重要 的 11 个 
评价 指标 的 数据 ,并 结合 离散 Hopfield 神经 网 络 的 联想 记忆 能 力 ,建立 离散 Hopfield 高 校 科 
研 能 力 评价 模型 。 


10.2 模型 建立 


步骤 7: 计 算 4=Dx | XUTX 5, 其 中 =exp (和 一 1， 


C= 


10.2.1 设计 思路 


将 若干 个 典型 的 分 类 等 级 所 对 应 的 评价 指标 设计 为 离散 型 Hopfield 神经 网 络 的 平 衔 点 ， 
Hopfield 神经 网 络 学 当 过 程 即 为 典型 的 分 类 等 级 的 评价 指标 逐渐 趋 近 于 Hopfield 神经 网 络 
的 平衡 点 的 过 程 。 学 习 完 成 后 , Hopfield 神经 网 络 储存 的 平衡 点 即 为 各 个 分 类 等 级 所 对 应 的 
评价 指标 。 当 有 待 分 类 的 高 校 的 评价 指标 输入 时 , Hopfield 神经 网 络 即 利用 其 联想 记忆 的 能 
力 逐 渐 趋 近 于 某 个 储存 的 平衡 点 ,， 当 状态 不 再 改变 时 ,此 时 平衡 点 所 对 应 的 便 是 待 求 的 分 类 


IYR 入 出 市 这 贱 蓉 作 沪 总 二 - 轴 蚌 全 康 间 物 号 站 生生 辽 谭 


AT 
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YY 六 也 厅 识 汪 这 痢 注 吕 对 


MATIAB 神经 网 络 30 个 案例 分 析 


Www tbove Matlab.cn 


等 级 。 


10.2.2 设计 步骤 


在 设计 思路 的 基础 上 ,本 案例 的 设计 步骤 主 监 包 


本 如 下 5 个 步 又 ,如 图 10-1 所 未。 


评价 指标 编码 


理想 的 窜 级 待 分 类 的 等 级 
评价 指标 编码 


创建 Hopfield 


神经 网 络 


| 仿真 /结果 分 析 


图 10-1 模型 建立 流程 图 


1. 设计 理想 的 等 级 评价 指标 


本 书 所 研究 的 20 所 高 校 的 科研 能 力 等 级 与 11 个 评价 指标 之 问 的 关系 ,如 表 10 1 所 列 。 
表 1I0-1 20 所 高 校 的 科研 能 力 等 级 及 对 应 的 评价 指标 

We xx Xs | xX Xs Xs | Xa Ne | Xs | XN | Xi | Xi | 等 级 
序 和 好 

1 98 8 86 5 90 97 | 扣 96 92 95 94 1 
| = 92 96 04 | ss 91 B89 97 | 上 90 99 I 
| 5 73 | a7 82 65 9 加 86 | om | a 82 1 

4 78 | 31 2 | 了 80 | 78 63 76 4 Tn 

5 87 96 93 97 2 | 95 90 88 | 30 1 98 94 1 

6 8 72 84 | 二 69 中 65 ?0 75 | 63 7 by 
| 0 | 人 | 7 | os 72 4 63 39 62 | 

8 | as 3 51 i | 4 57 53 人 | a 50 34 N 

9 53 46 17 | s8 55 3 39 48 2 58 47 vy | 

i 94 97 加 96 87 93 98 82 86 4 95 1 

mn | 2 37 4 31 8 罗 33 13 22 | as 30 ¥ 

12 | 8 8 71 78 73 83 Tt 7 B82 88 75 下 

13 0 38 55 5 62 了 4 6 59 55 45 4 N 

4 35 23 16 27 38 24 29 28 | 民 21 26 站 

15 16 全 加 38 26 35 20 37 于 | 39 ¥ 

16 65 67 58 62 61 58 63 | 人 BH 66 JT 

17 38 65 2 or | 3 69 64 os | 14 65 nl 

18 73 84 95 ?78 | 84 86 76 83 89 75 87 了 

19 33 28 35 20 26 和 38 26 30 4 21 y 

20 | 56 34 mn | 9 5 | 7 93 38 8 I 


将 各 个 等 级 的 样本 对 应 的 各 评价 指标 的 平均 值 作 为 各 个 等 级 的 理想 评价 指标 , 即 作为 


IIopfield 神经 网 络 的 平衡 点 ,如 表 10 -2 所 列 。 
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表 10-2 5 个 等 级 理想 评价 指标 


亲本 | XL Xs Xs L 和 X: Xs Xr xX x, Xn | x 
等 级 
T | 93 4 | 凤 34 1 95 03 92 92 93 4 
了 77 78 B81 | 82 8 79 37 B82 30 | 82 
Ll 4 67 的 63 67 64 66 67 68 67 6 | 
R 45 49 51 55 35 9 10 5 | 52 51 18 
¥ 27 33 32 | 3 27 33 320 26 31 34 | 允 


2. 理想 的 等 级 评价 指标 编码 

由 于 离散 型 Hopfield 神经 网 络 神经 元 的 状态 只 有 1 和 一 1 两 种 情况 ,所 以 将 评价 指标 映 
射 为 神经 元 的 状态 时 ,需要 将 其 进行 编码 。 编 码 规则 为 : 当 大 于 或 等 于 某 个 等 级 的 指标 值 时 ， 
对 应 的 神经 元 状态 设 为 1", 备 则 设 为 “一 1”。 理 想 的 5 个 等 级 评价 指标 编码 如 图 10 - 2 所 列 ， 
其 中 力 表 示 神 经 元 状态 为 “1”, 即 大 于 眶 等 于 对 应 等 级 的 理想 评价 指标 值 ,反之 则 用 口 表示 。 


1 IT 中 NV Vv 


图 10-2 理想 的 5 个 等 级 评价 指标 编码 
3。 待 分 类 的 等 级 评价 指标 编码 
5 所 待 分 类 的 高 校 等 级 评价 指标 如 表 10 - 3 所 列 , 根 据 上 述 的 编码 规则 得 到 对 应 的 编码 ， 
如 图 10 -3 所 示 。 
表 10 -3 5 所 待 分 类 的 高 校 等 级 评价 指标 


T 
指标 
六 Xl x Xs Xs Xx: Xs Xx; Xs Xs Xa Xl 
1 96 92 85 | 89 93 87 94 76 98 94 97 
2 70 88 75 82 | 86 79 89 80 EE 85 83 
% 60 75 | 68 57 | 7 7 76 83 59 35 人 
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续 表 10-3 

指 械 XL 3 XX, Xs Xs Xs; Ns | Xs Xn Xl 
- | | 

4 55 59 41 8] 58 73 57 48 36 3 55 

5 20 38 2 25 24 37 a0 36 21 d6 35 


和 和 和 


os 
OO 0@0 


图 10-3 5 所 待 分 类 的 高 校 等 级 评价 指标 编码 


4. 创建 网 络 

设计 好 理想 的 5 个 等 级 评价 指标 及 编码 后 ,好 可 利用 MATIAB 自 带 的 神经 网 络 工具 箱 
函数 创建 离散 型 Hopfield 神经 网 络 。 

5. 仿真 、 分 析 

网 络 创建 完毕 后 ,将 待 分 类 的 5 所 高 校 等 级 评价 指标 的 编码 作为 Hopfield 神经 网 络 的 输 
人 ,经 过 一 定 次 数 的 学 习 , 便 可 以 得 到 仿真 结果 。 将 仿真 结果 与 真实 的 等 级 进行 比较 ,可 以 对 
该 异型 进行 合理 的 评价 。 


10.3 MATLAB 实现 


利用 MATLAB 神经 网 络 工具 箱 提供 的 函数 ,将 设计 步骤 一 -在 MATLAB 环境 下 实现 。 


10.3.1 清空 环境 变量 
程序 运行 之 前 ,清除 上 作 空 间 workspace 中 的 变量 及 command window 中 的 命令 。 具 体 


Ea *"” 
ss% 清空 环境 变量 


clear all 


LY 内 市 剖 油 这 诈 汶 于 导 -本 凑 训 康 刘 答 卫 填 话 兴 了 沪 诺 


cle 
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10.3.2 导入 数据 


1. 导入 5 个 理想 的 等 级 评价 指标 编码 

理想 的 5 个 等 级 评价 指标 编码 为 5 个 11X5 的 矩阵 ,每 个 矩阵 中 的 元 索 只 了 包含 “1" 和 
“一 1 两 种 取 值 。 数 据 保存 在 class. mat 文件 中 ,依次 为 class_1 ,class_ 2、class_3、class dvclass_ 5。 
由 于 篇 帆 所 限 ,此 处 只 列 出 等 级 工 的 编码 情况 。 


class 1 = [1 -1 -1 一 上 -1;1 -1 -1 -1 一 1 
1 -1 -1 -1 -131 -1 -1 -1 一 和 
1 -1 -1 -1 一 1 -1 -1 -1 一 1 
1 -1 -1 -1 -131 -1 -1 -1 -1 
1 -1 -1 -1 -1s1 -1 -1 -1 -1 
1 -1 -1 -1 -1 

具体 程序 如 下 : 


入 导入 5 个 理想 的 等 级 评价 指标 编码 

load class. mat 

2. 导入 5 所 待 分 类 高 校 的 等 级 评价 指标 编码 

待 分 类 的 5 所 高 校 等 级 评价 指标 的 编码 保存 在 sim mat 文件 中 ,5 个 编码 矩阵 分 别 为 sim_1、 
sim_2,sim_3,sim_4 和 sim_5, 与 图 10 -3 一 一 对 应 。 本 书 仪 列 出 一 所 高 校 等 级 评价 指标 的 
编码 : 


sin1 =[1 -1 -1 -1 -1;1 -1 -1 -1 -1 
-1 1 -1 -1 13-1 1 -1 -1 -1 
1 -1 -1 -1 -11 1 -1 -1 -1 
1 -1 -1 -1 -1;-1 -1 1 -1 -1 
i -1 -1 -1 111 -1 -1 -1 -1 
i -1 -1 -1 -1]s 

具体 程序 为 : 

# # 导 人 待 分 类 的 5 所 高 校 等 级 评价 指标 编码 

load sim, nat 


10.3.3 创建 目标 向 量 ( 平 衡 点 ) 
将 理想 的 5 个 等 级 评价 指标 的 编码 作为 Hopficld 神经 网 络 的 平衡 点 ,程序 为 ， 
#% 多 目标 向 最 


T= [class_1 class_2 class 3 clags_4 class_ 5]; 


10.3.4 创建 网 络 


利用 MATLAB 自 带 的 神经 网 络 工具 箱 函 数 newhop, 可 以 方便 地 创建 离散 型 Hopfield 
神经 网 络 , 具 体 程序 如 下 : 


ww LoveMatlab.cn 
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名 创建 网 络 
net = newhop( 了 ) 1 


10.3.5 仿真 测试 


将 待 分 类 的 5 所 高 校 等 级 评价 指标 的 编码 输入 创建 好 的 离散 型 Hopfield 神经 网 络 , 利 用 
MATLAB 自 带 的 神经 网 络 工具 箱 函 数 sim 进行 仿真 。 县 体 程 序 如 下 : 


多 名 网 络 仿真 

A= {[sin_ 1 sim 2 sin 3 sin 4 sin 5]}); 
Y= sin(net, {25 20},{},8); 

1 = 207(: ,1:5) 

Y2= {20}(: ,6:10) 
Y3=¥{20}(:,11:15) 

¥4 = ¥{20)(;,16:20) 

5 = ¥{20}(: ,21:25) 


10.3.6 结果 分 析 


上 结果 显示 
为 了 直观 地 显示 仿真 结果 ,本 书 以 阁 形 的 形式 将 结果 呈现 出 来 。 其 体 程序 为 ， 


竺 所 结果 显示 
result = {THA{1} ;¥{20}}; 
figure 
for p=113 
for k=1:5 
subplot(3,5,(p- 1) x*5+k) 
temp= result{P}(: (x— 1) #5+1kx5): 
[mn] = size(tenp)s 
for i= 1:m 
for j=1:n 
证 tenp(i,j)>0 
plot(j,m— i, ko', MarkerFaceColor', k'); 
else 
plot(jym- i kod)s; 
end 
hold on 
end 
end 
axis([06012]) 
axie off 


* 浅 疝 痊 让 烟 生 站 生 二 8YTIYJA 淹 最 机 这 水球 认 总 天 志 - 本 源 训 市 吉 由 瑟 亲 长 尝 沪 对 


if p==1 
title([ class' nun2str(k)]) 
elseif p==2 
title([ presin' num2str(k) ]) 
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else 
title([' sim' num2str(k)]》 
end 
end 
nd 


结果 分 析 
仿真 结果 如 图 10 -4 所 示 。 其 中 ,第 一 行 与 图 10 - 2 相对 应 ,表示 5 个 理想 的 等 级 评价 指 
标 编码 ;第 一 行 与 图 10 - 3 相对 应 ,表示 5 所 待 分 类 的 高 校 等 级 评价 指标 编码 ; 了 为 设计 
的 Ilopfield 神经 网 络 分 类 的 结果 。 从 图 中 可 以 清晰 地 丰 册 ,设计 的 Hopfield 网 络 可 以 有 效 地 
进行 分 类 ,从 而 可 以 对 高 校 的 科研 能 力 进行 客观 公正 地 评价 。 


J 
wo 
| 


图 10-4 待 分 类 的 5 所 高 校 等 级 评价 指标 编码 仿真 结果 


10.4 案例 扩展 


值得 注意 的 是 ,本 书 中 所 设计 的 离散 型 Hopfield 神经 网 络 并 非 适用 于 任何 场合 。 当 某所 
高 校 的 优势 与 劣势 并 存 六 相当 明显 ( 即 一 些 影响 因素 得 分 很 高 ,一 些 影响 因素 得 分 很 低 ) 时 ， 
Hopfield 神经 网 络 将 得 不 到 确切 的 分 类 。 例 如, 某所 高 校 经 过 上 述 的 编码 规则 编码 后 ,得 到 
的 等 级 评价 指标 编码 为 ; 


sinn=[ 1 -1 -1 -1 -11-1 -1 -1 1 -1 
-1 1 -1 -1 -25-1 1 -1 -1 -5 
1 -1 -1 -1 -01 -1 1 -1 -3 
-1 -1 -1 1 -Url -1 -1 -1 1 
-1 1 -1 1 -Drl -1 -1 1 -1 
-1 -1 1 -1 -1 


利用 前 文 创建 好 的 Hopfield 网 络 进 行 仿真 测试 ,仿真 步 数 TS 设置 为 100, 具 体 程序 为 ， 
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了 = sim(net, {5 100},{}, {sim n))s 


a=y{100} 

仿真 结果 为 : 

aa = 
-1 -1 -1 -1 -1 
-1 -1 -1 -1 -1 
-1 -1 -1 -1 -1 
-1 -1 -1 -1 -1 
-1 -1 -1 -1 -1 
-1 -1 -1 -1 -1 
-1 -1 -1 -1 -1 
-1 -1 -1 -1 -1 
-1 -1 -1 -1 -1 
-1 -1 -1 -1 -1 
-1 -1 -1 -1 -1 


如 图 10 - 5 所 示 , 从 仿真 结果 中 可 以 看 出 ,其 不 属于 五 种 典型 等 级 类 别 , 即 意味 着 所 设计 
的 Hopfietd 神经 网 络 寻找 不 到 与 之 最 为 接近 的 平衡 点 ,因此 无 法 将 其 正确 分 类 。 在 这 一 点 
上 ,和 专家 打分 法 的 结果 是 .- 致 的 。 


评价 指标 编码 结果 
. 0 o o o 
o 6 日 . o 
o o o o 
o . o o 0 
. 0 0 0 9 
9 © . 0° o 
日 0 o . o 
0 0 9 o 和 
o . o o o 
0 0 o ba 日 
o 0 . o o 
仿真 结 粹 
o © o o 日 
o © o o o 
o 0 0 o o 
0 © o o 日 
o 0 o o o 
o 0 o o o 
o 0 o 站 o 
o 0 o o o 
o 0 0 o o 
o © o 0 o 
o o 日 o 0 


图 10-5 待 分 类 的 高 校 等 级 评价 指标 编码 与 仿真 结果 
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11.1 案例 彰 景 


11.1.1 过 续 Hopfield 神经 网 给 概述 


1. 网 络 结构 

连续 Hopfield 神经 网 络 (CHNN ,Continuous Hopficld Neural Network) 的 折 扑 结构 和 离 
散 Hopfield 神经 网 络 的 结构 类 似 .如 图 11 -1 所 入。 连续 Hopfield 网 络 和 离散 Hopfieid 网 络 
不 则 点 在 于 其 传递 本 数 不 是 阶 跃 昂 数 ,而 是 连续 函数 。 


RR RR R, 
四 | 四 a 


图 11-1 CHNN 的 电路 形式 

与 离散 型 Hopficld 神经 网 络 不 同 ,由 于 连续 型 Hopfield 神经 网 络 在 时 间 上 的 连续 性 ,其 
工作 方式 为 并 行 (同步 ) 方 式 。 

J.J. Hopfield 利用 模拟 电路 (电阻 .电容 和 运算 放大 器 ) 实 现 了 对 网 络 的 神经 元 的 找 述 ,如 
图 11 -1 所 示 。 假 设 神经 元 j(j 二 1,2,…,n) 的 内 部 膜 电 位 状态 川 U, 表示 ,细胞 膜 输入 电容 为 
C ,细胞 膜 的 传递 电阻 为 R; ,输出 电压 为 V,, 外 部 输入 电流 用 1 老 示 。 其 中 , 民 和 C, 的 并 联 
模拟 了 生物 神经 元 的 时 间 常 数 ,ww 模拟 了 神经 元 间 的 突 触 特 性 ,运算 放大 器 模 氢 了 神经 元 的 
韭 线 性 特性 , I; 相当 于 阔 值 。 由 某 尔 震 大 电流 定律 (KCL, Kirchhoff* s Current Law) 可 以 
得 出 : 
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CD 
dr 


= DV OL| 
气 ， 2 (1 -1) 


VD = g (UD)) | 
式 中 ,n 为 神经 网 络 神 经 元 的 个 数 ;V, (7 为 输出 电位 ;U,() 为 输入 电位 ;8; 为 神经 元 的 传递 中 
数 ;W 二 ww (i,j 二 1,2,…,n) 为 网 络 权 系 数 矩 阵 。 
2， 网 络 稳定 性 
关于 连续 型 Hopfield 神经 网 络 的 稳定 性 ,JJ. Hopficld 利用 定义 的 能 景明 数 进行 了 详细 
的 推导 和 证 明 , 具 体 让 明 过 程 如 下 。 
能 时 涌 数 EC) 定义 为 : 


Bi DAAC + RE) a Wav (11-2) 


式 中 ,5 “是 矶 (0 一 和 (iD) 的 反 吸 数 。 
对 能 昌 函 数 E(O 求 时 间 的 导数 dE(D7dt, 则 有 


些 一 一 了 #3, Ow wv YO] 
- 人 @ x di 1 


如 果 存 在 ws 二 ww , 则 上 式 可 以 写 E 


2 - Sve oY 外 -2 吧 外 + x AG 


di 
dV Un 四 
[Save 名 ] (11-4) 
将 连续 型 Hopfield 网 络 的 动态 方程 式 (11- 1) 带 入 上 式 , 有 
dE dD dn 
“= p> XG (11-5) 
由 于 (0 二 g U6) ,所 以 UD 一 g, 1V,(0) ,网 此 上 式 可 以 收 写 为 
AED SD ve, dg V0 
di > 十 dt 
De da VD dD 
Dr 
dV, (DY 、 ， , 
br xC, xLg' (Vn)] (11-6) 
车 传递 函数 gC) 为 单调 递增 的 连 绪 有 界 函 数 . 则 其 反 函 数 也 为 单调 增 函 数 ,故而 可 知 其 导数 
必定 大 于 0, 好 [gCV,60)] >0。 同时 ,可 知 >0, (3 中)>0， 因此 "多 二 0, 且 仅 当 
Vio 出 有 9 0。 


从 上 述 证 明 过 程 吕 以 看 出 : 
名 当 网 络 神经 元 的 传递 函数 单调 递增 日 网 络 权 系 数 移 隆 对 称 时 ,网 络 的 能 量 会 随 着 时 间 
变化 下 降 或 保持 不 变 ; 
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名 当 且 仅 当 神经 元 的 输出 不 再 随时 间 变 化 而 变化 时 ,网 络 的 能 量 才 会 不 变 。 

3. 优化 计算 

在 实际 应 用 中 ,如 果 将 一 个 最 优化 问题 的 日 标 阴 数 转 换 成 连续 Hopfield 神经 网 络 的 能 量 
函数 ,把 问题 的 变量 对 应 于 网 络 中 神经 元 的 状态 ,那么 IIopfield 神经 网 络 就 能 够 用 于 解决 优 
化 组 合 问题 。 即 洒 网 络 的 神经 元 状态 趋 于 平衡 点 时 ,网 络 的 能 量 函数 也 趋 于 最 小 值 ,网 络 由 初 
态 疝 稳 态 收敛 的 过 程 就 是 日 标 函 数 优 化 计算 的 过 程 。 


11.1.2 组 合 优 化 问题 概述 


组 合 优化 (combinatorial optimization) 问 题 的 日 标 是 从 组 会 问题 的 可 行 解 集中 求 出 最 优 
解 , 道 常 呆 描述 为 : 令 吕 一 fs s} 为 所 有 状态 构成 的 解 空间 ,Cty ) 为 状态 s, 对 应 的 日 标 
函数 信 , 缀 求 寻 找 最 优 解 * ,使 得 对 十 所 有 的 5, E22, 有 Cis' ) 二 min(C(s))。 组 合 优化 往往 
涉及 排序 ,分 类 ,筛选 等 问题 ,是 运筹 学 的 一 个 重 刘 分支 。 
典型 的 组 合 优化 问题 有 旅行 商 问题 (TSP, Traveling Salesman Problem) ,加 工 调度 问题 
(scheduling problem ,如 Flow - Shopb ,job - shop) .0 一 1 背包 问题 (knapsack problem) , 装 箱 问 
题 (bin packing problem)、 图 着 色 问 题 (graph coloring problem) 、 保 类 问题 (clustering Prob- 
lem) 等 。 这 些 问题 描述 非常 简单 ,并 且 有 很 强 的 工程 代表 性 ,但 最 优化 求解 很 困难, 其 主要 原 
央 是 求解 这 些 问题 的 算法 运行 时 ,需要 械 长 的 运行 时 间 与 极 大 的 存储 空间 ,以 竹 根 本 不 可 能 在 
现 有 的 计算 山上 实现 , 印 会 产生 所 谓 的 “组 合 爆炸 ”问题 。 止 是 这 些 问题 的 代表 性 和 复杂 性 激 
起 广 人 们 对 组 合 优化 理论 与 算法 的 研究 兴趣 。 
利用 神经 网 络 解决 组 合 优化 问题 是 神经 网 络 应 用 的 一 个 重要 方面 。 将 Hopficld 网 络 应 
用 于 求解 组 合 优化 问题 ,把 目标 函数 转化 为 网 络 的 能 量 函数 ,把 问题 的 变量 对 应 到 网 络 的 神经 
元 的 状态 ,这 样 , 当 网 络 的 能 量 两 数 收敛 于 极 小 值 时 ,问题 的 最 优 解 也 随 之 求 出 。 出 于 神经 网 
络 是 开行 计算 的 ,其 计算 量 不 会 随 着 维 数 的 增加 而 发 生 指 数 性 “爆炸 ", 内 而 对 于 优化 问题 萄 高 
速 计算 特别 有 效 。 


11.1.3 问题 描述 


旅行 商 (TSP) 问 题 的 描述 是 :在 N 个 城市 中 各 经 具 一 次 后 担 回 到 出 发 点 ,使 所 经 过 的 路 
程 最 短 。 其 不 考虑 方向 性 和 周期 性 ,在 给 定 N 的 条 件 下 ,可 能 存在 的 闭合 路 径 数 日 为 


到 CN 一 DLL 当 N 较 大 时 , 枚 举 法 的 计算 量 之 大 难以 想象 。 现 对 于 一 个 城市 数量 为 10 的 TSP 


问题 ,要 求 设计 一 个 可 以 对 其 进行 组 合 优化 的 连续 型 Hopfield 神经 网 络 模型 ,利用 该 模型 可 
以 快速 地 找到 最 优 (或 近似 最 优 } 的 一 条 路 线 。 


11.2 模型 建立 


11.2.1 设计 思路 


市 于 连续 型 Hopfield 神经 网 络 具有 优化 计算 的 特性 ,因此 将 TSP 问题 的 目标 函数 ( 即 最 
短路 径 ) 与 网 络 的 能 量 函数 相对 应 ,将 经 过 的 城市 顺序 与 网 络 的 神经 元 状态 相对 应 。 这 样 ,由 
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连续 型 Hopfield 神经 网 络 的 稳定 性 理论 可 知 , 当 网 络 的 能 量 函 数 趋 于 最 小 值 时 ,网 络 的 神经 
死 状 态 也 趋 于 半 衡 点 ,此 时 对 应 的 城市 硕 序 即 为 待 求 的 最 佳 路 线 。 


11.2.2 设计 步骤 


依据 设计 思路 ,将 TSP 问题 映射 为 一 个 连续 是 Topficld 神经 网 络 主要 分 为 以 下 几 个 步 
骤 , 如 图 11 -2 所 示 。 


构造 M4 络 能 全 pd 
模型 喘 肌 ei 初 锐 化 网 络 


La 


优化 计算 | 结果 分 析 


图 11-2 应 用 Hopfield 网 络 解决 优化 计算 的 主要 步骤 
1， 模 型 映射 
为 了 将 TSP 问题 映射 为 -个 神经 网 络 的 动态 过 程 , Hopfield 采取 了 换 位 斤 阵 的 表示 方 
法 ,用 NXN 和 矩阵 表示 商人 访问 NN 个 城市 。 例 如 ,有 5 个 城市 A,B.C,D,E, 访 问 路 线 是 入 > 
CE 一 D-B, 则 IIopficld 网 络 输出 所 代表 的 有 效 解 对 应 的 二 维 矩 陈 如 表 11 - 1 所 列 。 
表 11-1 5 个 城市 的 访问 路 线 


和 T 
次 这 | | , 
上 3 二 5 
城市 

A ] o i [a 站 

5 6 5 5 1 

‘ 8 i 5 1 5 

D 自 自 o 1 0 

下 o vo 上 [a a 


对 十 N 个 城市 TSP 问题 , 需 用 NXN 个 神经 元 来 实现 ,而 每 行 每 列 都 只 能 有 一 个 1 .其余 
为 0 矩阵 中 1 的 和 为 ,该 矩阵 称 为 换 位 年 阵 。 

2. 构造 网 络 能 量 函 数 和 动态 方程 

如 前 文 所 述 ,设计 的 Hopfield 神经 网 络 的 能 量 函数 是 与 日 标明 数 ( 即 最 短路 径 ) 相 对 应 
的 。 同时 ,应 该 考虑 到 有 效 解 (路 线 ) 的 实际 意义 , 即 换 位 矩阵 的 每 行 得 州都 只 能 有 一 个 1。 
此 ,网 络 的 能 别 啦 数 包含 日 标 项 (目标 丙 数 } 和 约束 项 ( 换 位 知 阵 ) 两 部 分 。 这 电 , 将 网 络 的 能 最 
两 数 定义 为 


y , yy ; yy 
Dv) tHP (NY, 1) +} vdoV (1-7) 
人 全 所 sisi 
式 中 ,前 两 项 为 问题 的 约束 项 ,第 三 项 为 待 优 化 的 日 标 项 。 
出 式 (11- 5) 可 以 推 革 出 ,网 络 的 动态 方程 为 : 


._AS 
一 3 


ds 3 A， » “ 
df Vv, 一 一 4 人 TV 一 A( 1 -1) -PD dV 11-8) 
3。 初始 化 网 络 


Hopfield 神经 网 络 选 代 过 程 对 网 络 的 能 量 师 数 及 动态 方程 的 系数 上 分 敏感 ,在 总 结 前 人 
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经 验 及 多 次 实验 的 基础 上 ,网 络 输入 初始 化 选取 如 下 : 
UD = UlnaN— D+o: Ci=12 Nt = 0) (11-9) 

式 中 ,Us 一 0.1;N 为 城市 个 数 1038, 为 (一 1, 十 1) 区 问 的 随机 值 。 

在 式 (11 -7), 式 (11-8) 中 , 取 入 =200,D 一 100; 采 样 时 间 设 置 为 step 一 0,000 1, 选 代 次 
数 为 10 000。 

4, 优化 计算 

汝 网 络 的 结构 及 参数 设计 完成 后 , 迁 代 优化 计算 的 过 程 就 变 得 非常 简单 ,具体 步 又 如 下 。 

步骤 1: 导 入 NN 个 城市 的 位 办 坐标 并 计算 城市 之 间 的 距离 ; 

步骤 2: 网 络 切 始 化 ; 

dU 


步骤 3: 利 用 式 (11 - 8) 动态 方程 计算 下, 并 利用 一 阶 欧 拉 法 计算 Us。 C1 二 Us (如 十 


, 1 Us CDN, 
步骤 4: 根据 Vg(U, 0) = [1+ten sig( )] 计 算 VD 


步骤 5: 利用 式 (11 -7)? 计 算 能 量 函 数 EE; 
步 又 6: 判断 迭 代 次 数 是 否 结 束 , 若 和 迭代 次 数 友 > 10 000, 则 终止 , 查 则 & 一 上 十 1 返回 步 
娃 3。 


11.3 MATLAB 实现 


11.3.1 清 安 环 境 安 量 、 声 明 全 局 变量 


程序 运行 之 前 ,有 必要 对 工作 空间 (workspace) 中 的 变 基 及 命令 窗 门 (command window) 
中 的 命令 进行 清除 ,同时 ,对 于 一 些 在 主 函 数 和 子 函数 中 都 需 使 用 的 变量 ,可 以 定义 为 全 局 变 
基 。 上 基体 程 序 如 下 ， 


% #% 清空 环境 变量 .定义 全 局 变量 
clear all 

clec 

global AD 


11.3.2 城市 位 置 导入 并 计算 城市 间距 离 


10 个 城市 的 模 、 纵 坐标 如 表 11 - 2 所 列 , 数 据 保存 在 city_location. mat 中 ,程序 运行 时 只 
需要 利用 load 命令 导 人 即 可 。 和 根据 导入 的 城市 坐标 位 置 , 求 取 任 意 两 个 城市 间 的 虐 离 ,以 便 
计算 动态 方程 和 人 能量 函数 的 时 候 使 用 。 具 体 的 程序 如 下 : 


和 第 导 人 城市 位 置 
load city_location 
和 多 计算 相互 城市 间距 离 


distance = dist(citys,citys")s 
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说 明 :dist(y) 消 数 川 于 求 取 两 点 问 的 距离 ,具体 可 以 查看 Help 帮助 文档 。 
表 11-2 10 个 城市 的 坐标 位 置 
减 市 序 导 
1 2 3 +t 3 6 7 8 9 10 
举 标 位 办 
横 坐 标 01|02|o04| 85|o7 | os|o2|o5|oyr|os 
纵 坐 标 0.6 D0.3 .1 0.3 0.2 0. 和 4 0.8 0.9 0.6 0.8 


11.3.3 初始 化 网 络 
根据 11. 2 节 中 的 设置 ,网 络 参数 及 输入 神经 元 的 初始 化 程序 如 下 : 


% # 初始 化 网 络 

N= size(citys,1) 
A=200; 

DB= 100; 

U0=0.1; 

step = 0.0001; 

delta= 2x rand(N,N) 一 1 
U= 00* log(N- 1) + delta; 
V= {1+ tansig(U/00))/2, 
iter_nun = 10000; 


E=zerostl,iter num)s 


11.3.4 寻 优 透 代 


寻 优 迭代 过 程 包括 动态 方程 计算 . 输 人 神经 元 状态 更 新 .输出 神经 元 状态 更 新 能量 函数 
计算 四 个 步骤 。 主 函数 程序 如 下 : 


多 名 半 优 选 代 

for k=1;iter_ num 
& 动态 方程 计算 
A diff ul(V,distance)s 
% 输入 神经 元 状态 赣 新 
Us=U+ dl stepi 
名 输出 神经 元 状态 更 新 
Y= (1+tanh(U/UO)) /2 
# 能 量 函 数 计算 
e= energy(V, distance); 
E(k)= ee 

end 


其 中 ,动态 方程 计算 和 能 量 丙 数 计算 对 应 的 子 丙 数 程 序 如 下 。 


Www iLoveMatlab.cn 


计 池 各 这 本 访 谨 此 卫 EYTLY 风 六 启 水 澡 油 入 这 注 况 习 - 面 凑 兴 闵 鹿 香 导 革 入 各 谤 潭 


目 


Araep MATLAB 神经 网 络 30 个 烷 亿 分 析 


“二 洲 邮 容 遇 入 下 几 玫 SYTIVY 砍 淹 也 可 攻 尝 区 扩 六 关 二- 天 活 言 谊 二 时 瑟 相 站 学 济 蛙 


[os 


Wiew HoveMarlab. cn 
1, 动态 方程 计算 diff_u.m 
根据 式 (11 - 8) ,可 以 很 方便 地 编写 出 动态 方程 计算 的 程序 : 


function du = diff_u(V,d) 
global AD 
n= size(V,1); 


Sum : 


= repnat( sun(V,2) — 1,1,n); 
sun_i= repmat(sun(V,1) -1,0,1); 
Vtenp= V2:n)s 

Vtemp= [V_temp VC:,1)]}s 

sun d=dxV_ tenps 

du= 一 xs x~ Axsum i- Dx sum ds 


说 明 : 

@ sum(V,1) 表 示 将 矩阵 V 进行 按 列 求 和 ,得 到 一 个 行 向 其;sum(V,2) 表 示 将 短 阵 VY 进 
行 按 行 求 和 ,得 到 一 个 列 向 量 ; 

加 repmat() 用 于 和 矩 阵 复制 ,B= 二 rtepmat(A,m,n) 表 示 将 4 复制 mn 行列 ,B 的 大 小 
size(B) 一 [size(A,1) x m,size( A,2) * n]。 

2， 能 量 函数 计算 energy. m 

根据 式 (11 - ?) ,计算 能 量 函 数 的 程序 如 下 ， 


function E= energy(V,d) 
global AD 

n= size(V,1); 

sum_x= sunsqr(sun(V,2) 一 1) 
sum_i= sunsqr(sun(V,1) -1); 
Y temp = YC: ,2.n); 

Ytemp= [V_tenp VC:,1)]; 
Sam d= dx UV tenps 

sun d= sum(sun(V, x sum_d))s 


E=0.5x*(Ax sun x+tAxSum it+D sum qd) 

说 明 : 

全 sum() 和 repmat() 的 用 法 同上 ,此 处 不 再 歼 述 ， 

加 sumsgr() 用 于 求 矩 阵 中 各 个 元 素平 方 之 和 , 即 sumsqr(a) 一 sum(sum(a * a))。 


11.3.5 结果 输出 


1. 判断 路 径 的 有 效 性 

当选 代 过 程 完成 以 后 ,需要 对 最 终 的 输出 神经 元 状态 进行 标准 化 并 检查 路 径 是 否 有 效 , 即 
是 否 满足 换 位 矩阵 的 条 件 : 每 行 每 列 均 只 有 一 个 1, 和 矩阵 中 1 的 个 数 与 城市 数 相等 。 具 体 的 程 
序 如 下 : 


% 多 判断 路 径 有 效 性 
Erows,cols] = size(V)s 
V1 = zeros(rows,cols); 
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[Y_max, yind] = max(V)} 
for j= licols . 
VV ind(D) ,j=1s 
end 
C= sum(Vl1) 
R= sun(V1 ); 
flag = isequal(C, ones(1,N)) & isequal(R,ones(1,N)):; 


如 果 flag 二 1, 表示 先 代 得 到 的 矩阵 是 有 效 的 ,其 所 对 应 的 路 径 也 是 合法 的 ; 千 则 , 则 表示 


选 代 结束 后 没有 寻找 到 一 条 有 效 的 路 径 。 


程序 为 : 


2. 结果 显示 

为 了 方便 读者 的 阅读 ,将 优化 前 后 的 路 径 及 能 量 函 数 的 变化 以 图 形 的 形式 展现 出 来 ,具体 
% % 结果 显示 

if flag==1 


% 计算 初始 路 径 长 度 
sort_rand = randperm(N) ; 
citys_ rand= citys(sort_rand,:)s 
Length init= dist(citys_ rand(1,;) ,citys_rand(end, :)'), 
for i= 2xeize(citys_rand,1) 
Length_init = Length_init + dist(citys rand(i -1,,) ,citys rand(i,))y 
end 
$ 绘制 初始 路 径 
figure(1) 
plot(Lcitys_rand(; ,1) scitys rand(1,1)]," 
[citys_rand(: ,2) ;citys_rand(1,2)],'0~") 
for i=1:1length(citys} 
text(citys(i,1) ,citys(i,2),[" ‘num2str(i)]) 


end 
text{citys. rand(1,1) ,citys_rand(1,2)，[ 起 点 ' 了) 
text(citys_rand(end,1) ,citys_rand(end,2),C 终点 ']) 


title([ 优 化 前 路 径 ( 长 度 :' num2str(Length_init) 9 站 7 
axis([0101]) 
grid on 
xlabel( 城 市 位 置 横 坐 株 ? 
?label1( 城 市 位 置 纵 坐 标 ? 
% 计算 最 仿 路 径 长 度 
[V1_max, Vind] = nax(V1); 
citys_end = citys(y1_ind, 1)s 
Length_end = dist{citys_end(1,;),citys end(end;,;))} 
for i= 2,size(citys_end,1) 
Length_end = Length end + dist(citys_end(i—1,:) ,citys end(i,:)"); 
end 
disp( 最 优 上 路 径 矩 阵 ) ;V1 
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s# 绘制 最 优 路径 
figure(2) 
plot([citys_end(:,1)1citys_end(1,1)]," 
[citys_end(:,2):citys end(1,2)],'0-") 
for 1= 1;length(citys) 

text{citys(i,1) ,citys(i,2) ,0 ‘nun2str(i)]) 


end 
text(citys end(1,1) ,citys_end(1,2),[" 起 点 ' J]) 
text(citys .end(end,1) ,citys_end(end,2), 终点 ]) 


title([' 优 化 后 路 径 (长 度 :" num2str(Length_end) )"]) 
axis([0 101]) 

grid on 

xlabel(' 城 市 位 置 模 坐 标 ) 

Ylabel( 城 市 位 置 纵 坐标 ) 

s 绘制 能 量 函 数 变 化 曲线 

figure(3) 

Plot(1.:iter num,Eys 


title([' 能 量 函 数 变 化 曲线 (最 优 能 晤 : non2str(ECend)) )]); 


xlabel( 选 代 次 数 )， 
Ylabel( 能 最 函数 ); 


@lse 


disp(' 导 优 路 径 无 效 ); 


end 

3. 结果 分 析 

图 11 - 3 为 随机 产生 的 初始 路 径 ,所 经 过 的 路 径 为 94 一 5 一 3 一 ?6 一 10 一 1 一 2 一 8 一 
9, 其 长 度 为 4.934。 


优化 前 路 径 (长 度 :4.934) 


0 0.2 0.4 06 0.8 1 
,城市 位 加 横 从 标 


图 11-3 随机 产生 的 初始 路 径 
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经 过 连续 型 Hopfield 神经 网 络 优化 后 , 寺 找 到 的 优化 路 径 为 4 一 9 一 10 一 8->7 一 1 一 2 一 
3 一 5 一 6 一 4, 其 长 度 为 2.913 7, 如 图 11-4 所 示 。 
优化 后 路径 (K 惠 2.913 7) 


1 一 一 - 
09 8 
os Pr 0 
07 / / 
4 
oo 
< 一 ? 
\ oo 相 总 
\ 站 
\ 7 终点 
/ 
/ 
02 ~ ds 
~ 
0.1 ~ 
0 - 
oa 02 04 06 0.8 1 
城市 位 置 模 坐 标 


图 11~# Hopfield 网 络 优化 后 路 径 
能 其 消 数 随 迭 代 过 程 变 化 的 曲线 如 图 11 -5 所 示 , 从 图 中 可 以 看 出 ,网 络 的 能 垦 随 着 大 代 
过 程 不 断 减少 。 当 网 络 的 能 其 变化 很 小 时 ,网 络 的 神经 元 状态 也 趋 于 平衡 点 ,此 时 对 应 的 碱 市 
顺序 即 为 待 求 的 优化 路 径 。 


2000 能 时 电 数 变化 曲线 (最 优 能 最 :135.9101) 


1800 
1600 
1400 
1200 

国 1000 

因 800 

600 
400 
200 


1000 2000 3000 4000 5000 6000 7000 8000 900010000 
送 代 次 数 
图 11-5 能 量 函 数 随 迁 代 次 数 变化 曲线 
结果 表明 ,利用 连续 型 Hopfield 神经 网 络 , 可 以 快速 准确 地 解决 TSP 问题 。 同 理 ,对 于 
其 他 利用 枚 举 法 会 产生 “组 合 爆炸 ”的 组 合 优化 问题 ,利用 连续 型 Hopfield 神经 网 络 也 可 以 进 
行 优化 计算 。 
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11.4 染 例 扩展 


11.4.1 结果 比较 

图 11-6 列 出 了 在 进行 100 次 的 实验 中 ,寻找 到 有 效 路 径 的 次 数 与 城市 数 呈 和 迭代 次 数 
的 关系 。 从 表 中 可 以 看 出 , 随 着 城市 数量 的 增 册 ,Hopfield 神经 网 络 寻 优 的 效果 越 来 越 差 , 增 
加 适 代 次 数 ,可 以 改善 寻 优 的 效果 ,但 首 间 选 代 次 数 越 多 越 好 ,还 得 结合 实际 问题 进行 具体 
分 析 。 


城市 数 旭 、 哆 代 次 数 对 寺 优 结 米 的 影响 


2000 5000 8000 
迁 代 次 数 


图 11 -6 城市 数量 、 迭 代 次 数 对 寻 优 结果 的 影响 


11.4.2 案例 扩展 


利用 连续 型 Hopficld 神经 网 络 ,将 待 优化 的 日 标 亲 数 及 相对 应 的 约束 条 件 转化 为 能 量 明 
数 ,将 问题 的 变量 对 应 神经 网 络 神经 元 的 状态 。 当 Hopfield 神经 网 络 的 输出 状态 趋 于 平衡 点 
时 ,能 量 晒 数 对 应 的 便 是 待 优化 问题 的 最 优 解 。 利 用 此 思路 ,可 以 快速 .准确 地 解 次 各 种 优化 
问题 .如 选 址 优化 ,轴承 设计 优化 等 。 男 外 ,能 量 函 数 、 风 络 参 数 会 对 优化 结果 产生 很 大 的 影 
响 , 许 多 专家 学 普 对 这 些 问题 进行 了 广泛 深入 的 研究 ,取得 了 很 多 有 意义 的 成 果 , 有 具体 请 参考 
参 号 文献 L[5 -11]。 
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第 12 章 SVM 的 数据 分 类 预测 
一 一 意大利 葡萄 酒 种 类 识别 


12.1 过 例 彰 暴 


12.1.1 SVM 神经 网 给 概述 

支持 向 量 机 (SVM,Support Vector Machine) 是 山 Vapnik 首先 提出 的 , 像 多 层 感 知 器 网 
络 和 径 向 基 丙 数 网 络 一 样 , 可 用 于 模式 分 类 和 非 线 性 加 上 时。 支持 向 是 机 的 主要 思想 是 建立 一 
个 分 类 超 平 面 作 为 决策 曲面 ,使 得 目 例 和 反 饮 之 间 的 陋 离 边缘 被 最 大 化 。 支 持 向 其 机 的 理论 
基础 是 统计 学 习 理 论 ,更 精确 地 说 ,支持 向 基 机 是 结构 风险 最 小 化 的 近似 实现 。 这 个 原理 基于 
这 样 的 事实 :学 习 机 器 在 测试 数据 上 的 肖 差 府 ( 即 泛 化 误差 率 ) 以 训练 误 善举 和 :个 依赖 于 
VC 维 数 (Vapnik - Chervonenkis dimension) 的 项 的 和 为 办 ,在 可 分 模式 情况 下 ,支持 向 量 机 
对 于 前 -项 的 值 为 零 ,并 且 使 第 二 项 最 小 化 。 内 此 ,尽管 它 不 利用 问题 的 领域 内 部 问题 ,但 在 
模式 分 类 问题 上 支持 向 晶 机 能 提供 好 的 泛 化 性 能 ,这 个 属性 是 支持 向 基 机 特有 的 。 

支持 向 量 机 其 有 以 下 的 优点 : 

中 通用 性 :能 够 在 很 广 的 各 种 摧 数 集中 构造 前 数 ， 

名 鲁 棱 性 ， 要 微调 ; 

名 有 效 性 ;在 解决 实际 问题 中 总 是 属于 最 好 的 方法 之 一 ， 

名 计算 简单 :方法 的 实现 只 需要 利用 简单 的 优化 技术 : 

鲜 理论 上 完善 :基于 VC 推广 性 理论 的 框架 。 

谋 支 持 向 晤 x(i) 和 输入 空间 抽取 的 向 景 x 之 间 的 内 积 核 这 一 个 概念 是 构造 支持 向 量 机 
学 习 算法 的 关键 。 支 持 向 量 机 是 由 算法 从 训练 数据 中 抽取 的 小 的 子 集 构成 。 

支持 向 量 机 的 体系 结 爸 如 岁 12 1 所 示 。 


输 Hix 
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其 中 KK 为 核 溺 数 ,其 种 类 主要 有 : 

线性 核 函 数 :KCr,r) 二 x 人 r,s 

多 项 式 核 函 数 : KCr.r)=(yriri 二 rn?.y>0; 

和 失 向 大 核 冰 数 :KCr,x) 一 exp( 一 yz ,70; 
两 层 感 知 器 核 也 数 : K(x) 一 tanh(yYzx'z, 二 7) 。 


12.1.2 意大利 亲 痢 酒 种 类 识别 相关 背景 


wine 数据 的 来 源 是 UCI 数据 库 , 记 录 的 足 存 意 大 利 同一 区 域 上 三 种 不 同 品 种 的 葡萄 酒 
的 化 学 成 分 分 析 , 数 据 里 含有 178 个 样本 ,每 个 样本 含有 13 个 特征 分 量 (化 学 成 分 ) ,每 个 样本 
的 类 别 标签 已 给 。 将 这 178 个 样本 的 50% 做 为 训练 集 , 另 50% 做 为 测试 集 ,用 训练 集 对 SVM 
进行 训练 可 以 得 到 分 类 模型 ,再 用 得 到 的 模型 对 测试 集 进行 类 别 标签 预测 。 

(1) 测试 数据 :wine data set 

整体 数据 存储 在 chapter12_wine, 该 数据 可 以 在 MATLAB 中 文 论坛 下 载 ,数据 内 容 
如 下 : 

classnumber = 3, 记 未 类 别 数目 ; 

wine,178X13 的 -个 double 型 的 矩阵 ,记录 178 个 样本 的 13 个 属性 ; 

wine_labels,178X1 的 一 个 double 型 的 列 向 量 ,记录 178 个 样本 各 自 的 类别 标签 。 

(2) 数据 来 源 :UUCI 

http://archive, ics. uci. edu/ml/datasets/ wine 

(3) 数据 详细 描述 

wine 数据 是 物理 化 学 相关 领域 的 数据 ,wine 数据 记录 的 是 在 意大利 某 一 地 区 同一 区 域 上 
种 不 同 品种 的 殴 萄 江 的 化 学 成 分 分 析 , 数 据 里 含有 178 个 样本 分 别 属于 三 个 类 别 ( 类 别 标 签 
已 给 ) ,每 个 样本 含有 13 个 特征 分 其 (化 学 成 分 ) ,如 下 : 

@ Alcohol 

加 Malic acid 

图 Ash 

@ Alcalinity of ash 

图 Magnesium 

@® Total phenols 

@@ Flavanoids 

®@ Nonflavanoid phenols 

® Proanthocyanins 

WD Color intensity 

DD Hue 

@ OD280/0D315 of diluted wines 

@ Proline 

(4) 数据 的 吓 视 化 图 

数据 的 串 视 化 图 如 图 12 -2 和 图 12 - 3 所 水 。 
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Proine 


Wine 数 据 交 box 可 视 化 图 
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图 12-2 wine 数 据 的 可 视 化 图 
attrib 1 attrib2 attrib 3 attnb 4 
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图 12-3 wine 数据 的 分 维 可 视 化 图 
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12.2 模型 建立 


模型 建立 首先 需要 从 原始 数据 时 把 训练 集 和 测试 集 提取 出 来 ,然后 进行 一 定 的 预 处 理 ( 必 
要 的 时 候 还 需要 进行 特征 提取 ) ,之 后 用 训练 集 对 SVM 进行 训练 ,再 用 得 到 的 模型 来 预测 测 
试 集 的 分 类 标签 ,算法 流程 如 图 12 - 4 所 示 。 


选 定 放 练 集 ] ,| [sw | | 
和 测试 集 | 数 光 项 处 理 | (i 经 集 ) (测试 集 ， | 分 类 准 珀 证 


图 12-4 模型 整体 流程 


12.3 MATLAB 实 规 


12.3.1 逃 定 训 狼 集 和 测试 集 


在 这 178 个 样本 中 ,其 中 1~59 属于 第 一 类 (类 别 标签 为 1) ,60~130 属于 第 二 类 (类 别 标 
签 为 2),131 一 178 属于 第 三 类 (类 别 标 等 为 3)。 现 将 每 个 类 别 分 成 摧 组 ,重新 组 合 数据 ,一 部 
分 做 为 训练 集 (train_wine) ,一 部 分 做 为 测试 集 (test_wine) 。 

MATILAB 实现 代码 如 下 ; 


先 载 人 数据 

1oad chapter12_wine. mat 

* 将 第 一 类 的 1 一 30, 第 二 类 的 60~95, 第 三 类 的 131~153 做 为 训练 集 
train_wine = [wine(1:30,:) ;wine(60:95,;) ;wine(131:153,;)]: 

名将 相应 的 标签 提取 出 来 

train wine_labels= ... 

[wine labels(1:30);... 

vine_labels(60:95) ;wine_ labels(131;153)]; 

将 第 一 类 的 31~59, 第 二 类 的 96~130, 第 三 类 的 154 一 178 做 为 测试 集 
test wine = [wjne(31:59，:)iwine(95;130，: 
名将 相应 的 标签 提取 出 来 

test_wine. labels= ... 

[wine_ labels(31;59);,,. 
wine_labels{96:130) ;wine labels(154:178)]; 


LY 


12.3.2 数据 预 处 理 
对 训练 集 和 测试 集 进行 归 一 化 预 处 理 ,采用 的 归 一 化 映射 如 下 。 


Tm 


mm 
武 中 ,TyER ,ro min(r) ,rm =max(z) 归 一 化 的 效果 是 原始 数据 被 规整 到 [0,1] 范 围 内 ， 
即 y, EL0,1J,i 一 1,2,… sn, 这 种 归 一 化 方式 称 为 [0,1] 区 间 电 一 化 。 
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除了 土 商 的 规范 化 方式 还 有 其 他 的 归 一 化 方式 ,比如 [1,1j 区 间 归 ~ 化 ,其 映射 如 下 : 


十 (一 1) 


六 一 2XX 
x 


起, yER" ron = min(r), Iwox = max(r), 
有 关 归 一 化 的 详细 讨论 ,请 看 MATIAB 中 文 论坛 电 的 相关 帖子 :http:/7www'.ilovemat 
lab. cnythread - 27021 -1 1. himl。 
在 MATLAB 中 ,mapminmax 捕 数 可 以 实现 上 述 的 归 一 化 ,其 常用 的 函数 接口 如 下 ; 
[yps] = mapminmax(x) 
[ysps] = mapminmax(x,ymin, ymax) 
Lx,ps] = mapminmax( reverse ',y, ps) 
其 中 ,x 是 原始 数据 ,y 是 归 一 化 后 的 数据 ,ps 足 个 结 移 体 记录 的 是 时 一 化 的 映射 。mapmin- 
max 函数 所 采用 的 映射 是 ， 
一 (ya Ynin) XR Toni) To 一 rmin) 于 Join 
其 中 ,mn 和 rm 是 原始 数据 x 的 最 小 值 和 最 大 值 ,yn 和 yo 是 映射 的 范围 参数 ,可 调节 ,默认 
为 一 1 和 1 ,此 时 的 上 映射 函数 即 为 上 面 说 的 [一 1,1] 归 一 化 。 如 果 翅 yw 置 为 0,ymx 置 为 1, 则 
此 时 的 映射 咕 数 即 为 上 面 说 的 [0,1] 归 一 化 ,可 利用 新 的 映射 珊 数 对 x 进行 重新 归 一 化 ,代码 
如 下 ， 
[y,ps] = mapninmax(x); 
ps. min = 04 
ps. yunax = 了 4 
{ynew,ps] = napuinmax(x,ps): 


反 归 一 化 可 用 如 下 代码 实现 : 


[y,ps] = napminaax(x); 
[x,ps] = mapminmax(' reverse',y, PS), 


wine 数据 的 归 一 化 MATLAB 实 开 代 码 如 下 : 
# 数据 预 处 理 , 将 训练 集 和 测试 集 归 一 化 到 [0,1] 区 间 


[Lntrain,ntrain] = size(train wine); 


[ntest,ntest] = size(test_wine)s 


dataset = [train.winetest_wine]; 

% mapninmax 为 MATLAB 自 带 的 归 一 化 函数 
[dataset_scale,ps] = mapuinnax(dataset',0,1); 
dataset_scale = dataset_ scale'; 


train_wine = dataset_scale(1 :mtrain,:); 
test wine = dataset scale( (mtrain+1):(ntrain+ mtest),: ); 


12.3.3 训练 与 预测 
用 训练 集 train_wine 对 SVM 分 类 器 进行 训练 ,用 得 到 的 模型 对 测试 集 进行 标签 预测 ,最 
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三 得 到 分 类 的 准确 率 为 98. 8764%。 睦 中 SVM 的 实现 采用 的 是 libsvm 工具 箱 (libsvm - 
mat)。 

(1) libsvm 工具 箱 简介 

libsvm 是 台湾 大 学 林 智 和 -(1in Chih -Jen) 教 授 等 开发 设计 的 一 个 简单 .易于 使 用 且 快 速 
有 效 的 SVM 模式 识别 与 回归 的 软件 包 它 不 但 提供 了 编 详 好 的 可 在 Windows 系列 系统 的 执 
行文 件 ,还 提供 了 源 代码 ,方便 改进 .修改 以 及 在 其 他 操作 系统 上 应 用; 该 软件 还 有 一 个 特点 ， 
就 是 对 SVM 所 涉及 的 参数 调节 相对 比较 少 ,提供 六 很 多 的 默认 参数 ,利用 这 些 默认 参数 就 可 
以 解决 很 多 问题 ;并 且 提 供 了 交 喜 检验 (cross validation) 的 功能 。 该 软件 包 可 以 在 http:// 
Www. csie ntu edu tw/ cjlin/ 免 费 获 得 。 该 软件 可 以 解决 C-SVCCC -support vector clas- 
sification) nu- SVC (nu - support vcetor classification) ,one - class SVM (distribution esti- 
mation) .epsilon - SVR (epsilon - support vector Tegression) .nu - SVR(nu - support vector 
regression) 等 问题 ,包括 基于 一 对 -算法 的 多 类 模式 识别 问题 。SVM 用 于 模式 识别 或 回归 
时 ,SVM 方法 及 其 参数 , 核 函 数 及 其 参数 的 选择 ,日 前 国际 上 还 没有 形成 -个 统 - -的 模式 ,也 
就 是 说 最 优 SVM 算法 参数 选择 还 只 能 是 任 借 经 验 .实验 对 比 . 大 范围 的 搜寻 或 者 利用 软件 包 
提供 的 交 政 检验 功能 进行 寻 优 。 

[内 箱 主 要 的 数 介绍 如 下 : 

训练 肾 数 


model = ... 
swntrain(train label, train_matrix,[' libsvn_options ']); 


输入 : 

一 train_label; 训 练 集 的 标签 

一 train_matrix: 训练 集 的 属性 

一 libsvm_options: 一 些 选项 参数 

输出 ， 

一 model; 训练 得 到 的 分 类 模型 

预测 函数 

[predicted label,accuracy]= ... 
Svnpredictttest_label,test_natrix,nodel,['1ibsvn options ']):; 


输入 ， 

一 test_label: 测 试 集 的 标签 

一 test_mattix: 测 试 集 的 届 性 

一 model: 由 svmtrain 得 到 的 分 类 模型 
-libsvm_options: 一 些 选项 参数 


输出 : 
一 bredicted_labei: 预测 得 到 的 测试 集 的 标签 
一 accuracy: 分 类 准确 率 


《2) wine 数 据 的 训练 和 预测 的 MATILAB 实现 代码 
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model= ... 


svntrain(train wine labels,train wine,'—c 2 -g1)s 
[predict_label,accuracy] = .. 
svnpredict(test_wine_labels, test_wine, nodel); 


运行 结果 ， 

accuracy = 98.8764% (88/89) (classification) 
最 终 分 类 的 结果 如 图 12 -5 所 水 。 

测试 集 的 实际 分 类 和 据 测 分 类 图 
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图 12-5 测试 集 的 分 类 结果 图 


12.4 案例 扩展 


12.4.1 条 用 不 同 委 一 化 方式 的 对 比 
对 寺 不 同 的 归 一 -化 方式 以 及 不 用 归 一 化 预 处 理 ,最 后 测试 集 预 测 分 类 准确 率 的 对 比如 表 


< 计 洲 部 次 上映 亲 于 沁 征 9YTIV 风 沸 子 市 记 次 访 诗 访 过 二 -本 新 言 训 兰 特 世 击 半 等 防 齐 


12 一 1 所 列 。 
表 12-1 采用 不 同 归 一 化 方式 对 比 
归 一 化 方式 Aceuracy svmtrain 的 参数 选项 
| 不 旭 19701 一 化 处 再 | 39.3258 (36789) | 一 ec2 一 g] 
[一 1.12yT 化 97, 7528 {87789) -ce2—gl" 
[9.1] 册 一 化 98. 8764%(88/89) ea gl 


从 表 12 - 1 可 以 看 出 对 于 wine 这 个 数据 需要 将 其 先进 行 归 一 化 的 顶 处 理 ,才能 提高 最 后 
的 分 类 的 准确 率 ,而 凡 不 同 的 归 一 化 方式 对 最 后 的 准确 率 也 会 有 一 定 的 影响 。 也 是 舍 必 须 进 
行 好 一 化 预 处 理 才 能 提高 最 后 的 准确 率 呢 ? 答案 是 否定 的 。 并 不 是 任何 问题 都 必须 事先 把 原 
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始 数据 进行 监 一 化 ,也 就 是 数据 归 一 化 这 一 步 并 不 是 必须 要 做 的 , 楷 其 体 问题 只 体 看 待 。 测 试 
衣 明 有 时 候 归 一 化 后 的 预测 准确 率 比 没有 归 一 化 的 预测 准确 率 会 低 很 多 。 


12. 4.2 采用 不 同 核 函 数 的 对 比 


对 于 SVM 中 不 周 的 核 淘 数 ,测试 集 顶 测 分 类 准确 率 的 对 比 ( 统 -采用 [0,1] 归 一 化 ) 如 表 
12 -2 所 列 。 
表 12-2 采用 不 同 核 函数 对 比 


果 用 的 起 两 数 Aceuracy svimtrain 的 套数 选 需 

linear - 97. 7328% (87/89) ee2-gl ro 

palynomial 98. 87649 (sd | 2 gl-tl' 

| aial basis Fonction 98. 8764% (88/89) ea gl 12! 
siginoid B32. 809% (47789) ， 2 


通过 上 面 的 对 比 , 可 以 看 出 对 士 wine 这 个 数据 采 川 答 向 基 湖 数 作为 核 函 数 ,最 终 的 分 类 
准确 率 最 高 。 


12.4.3 关于 svmtrain 的 参数 c 和 8 选取 的 讨论 


上 而 的 过 程 中 svmtrain 的 惩罚 参数 “ 和 核果 数 参数 g 是 任 点 给 定 的 或 赁 测试 经 验 给 定 
的 ,那么 这 个 参数 “ 和 8 该 如 何 选取 呢 9 有 没有 在 某 种 意义 下 最 好 的 参数 c 和 上 呢 ? 

最 简单 的 一 种 嘎 想 就 是 让 “ 和 & 在 某 一 范围 内 离散 取 值 , 皮 使 得 最 终 测试 集 分 类 准确 率 
最 高 的 c 和 8 为 最 佳 的 参数 ,但 这 是 在 知道 测试 集 的 标签 的 情况 下 ,如果 不 知道 测试 集 的 标签 
怎么 办 (往往 多 数 情况 事先 可 能 不 知道 测试 集 的 标签 )? 

有 一 种 叫做 交叉 验 让 (eross validation) 的 办 法 ,可 以 找到 在 一 定 意 义 下 鼠 佳 的 参数 c 和 
8 ， 其 算法 伪 代 人 码 如 下 : 


Start 
bestAccuracy = 0 
bestc = 0 
bestg = 0 


% 其 中 nl1,n2 忆 都 是 预先 给 定 的 数 
forc = 2( 一 nl):2(nl) 
for g = 2( 一 n2):2-(n2) 
将 训练 集 平均 分 为 N 部 分 , 设 为 
train(1) trainf2)，%…,trainCR) 。 
分 别 让 每 一 部 分 作为 测试 集 进 行人 需 测 ( 剩 下 的 N- 1 部 分 作为 训练 集 对 
分 类 器 进行 训练 ) ,到 最 后 得 到 的 所 有 分 类 准确 率 的 平均 数 , 设 为 cv。 
证 (cy > besthccuracy ) 
besthccuracy = cvs beste = ci bestg = gs; 
end 


end 


Over 


| 
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采用 这 种 Cross Validation 的 方法 ,在 没有 测试 集 的 标签 的 情况 下 可 以 找到 … 定 意义 下 

的 报 佳 的 参数 c 和 & .这 里 说 “一 定 意义 下 " 指 的 是 此 时 的 最 传 参数 " 和 是 使 得 训练 集 在 交 
义 验 证 思想 让 能 够 达到 最 高 分 类 准确 率 的 参数 ,但 并 不 定 能 保证 会 使 得 浏 试 集 也 能 达到 最 


高 的 分 类 准确 率 。 
有 关 交 义 验 证 的 方法 在 第 13 章 中 还 会 有 喝 为 详细 的 讨论 ,以 达到 优化 SVM 相关 参数 的 
月 的 。 


玫 此 方法 来 对 wine 数据 进行 分 类 预测 , MATLAB 实现 代码 如 下 (相关 数据 已 经 过 前 面 
数据 预 处 理 ) : 


bestcv = 0i 
for log2c = -4:4, 
for log2g = ~ 4:4, 


end= ['-v3 ~c',nun2str(2"log2c)," ~ g's,num2str(2"10g29)]; 

cv = svntrain(train wine_labels, train wine, cnd); 

if (cv > bestcv)， 

bestcv = cvf bestc = 2-log2c: bestg = 2°l0g2g; 
end 
end 

end 
fprintf((best e= %g, g= %grate= 要 g)Nn bestc，bestg，bestcv); 
cmd = -eo', num2str(bestc), ' 一 
model = svatrain(train wine, labels, train wine, cnd); 


', num2str(bestg)]}; 


[predict_label,accuracy] = ... 

swnpredict(test_ wine. labels,test wine,model); 

最 终 运 行 结果 : 

(best c=2, g= 1, rate= 98.8764) 

Accuracy = 98.8764% (B88/89) (classification) 

可 见 采 用 Cross Validation 方法 ,可 以 城 终 得 到 最 住 的 参数 是 c 二 2,g 二 1, 测试 集 的 分 类 
准确 溉 为 98.8764%% ,日 在 此 种 情况 下 所 采 几 的 参数 是 某 种 意义 下 最 佳 的 。 

更 多 关于 SVM 理论 和 应 用 方面 的 资料 ,请 参看 参考 文献 所 询 部 分 内 容 。 
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第 13 章 SVM 的 参数 优化 
一 一 如 何 更 好 地 提升 分 类 器 的 性 能 


13.1 过 例 背景 


关于 SVM 相关 的 背景 知识 请 参看 第 12 章 。 

在 第 12 章 中 采用 SVM 来 做 分 类 ,达到 了 较 满意 的 结果 ,但 用 SVM 做 分 类 预测 时 需要 调 
节 相 关 的 参数 (主要 是 惩罚 参数 c 和 核 函 数 参 数 g ) 才 能 得 到 比较 理想 的 预测 分 类 准确 滨 , 那 
么 SVM 的 参数 该 如 何 选取 呢 ? 有 没有 最 佳 的 参数 呢 ? 采用 交叉 验证 (CY,Cross Validation) 
的 思想 可 以 在 某 种 意义 下 得 到 最 优 的 参数 .可 以 有 效 地 喜 免 过 学 习 和 欠 学 习 状 态 的 发 牛 ,最 终 
对 于 测试 集合 的 顶 测 得 到 较 理 想 的 准确 率 。 实 例 验 让 表明 ,用 交叉 验证 选取 出 的 参数 来 训练 
SVM 得 到 的 模型 比 随 机 地 选取 参数 训练 SVM 得 到 的 模型 在 分 类 上 移 有 效 。 

CV 是 用 米 验证 分 类 器 性 能 的 - -种 统计 分 析 方 法 , 某 本 思想 是 把 在 某 种 意义 下 将 原始 数 
据 (Cdatasetb) 进 行 分 组 ，- 部 分 做 为 训练 集 (train set), 另 一 部 分 做 为 验证 集 (validation set)。 
其 方法 是 首先 用 训练 集 对 分 类 器 进行 训练 .再 利用 和 验证 集 来 测试 训练 得 到 的 模型 (model) ,以 
得 到 的 分 类 准确 率 做 为 评价 分 类 器 的 性 能 指标 。 常 见 CV 的 方法 如 下 。 

(1) Hold - Out Method 

原始 数据 被 随机 分 为 两 组 ,一 组 做 为 训练 集 ,一 组 做 为 验证 集 , 利 用 训练 集训 练 分 类 器 , 然 
后 利用 验证 集 验证 异型 ,记录 最 后 的 分 类 准确 率 作为 此 Hold - Out Method 下 分 类 器 的 性 能 
指标 。 此 种 方法 的 好 处 是 处 理 简单 ,只 需 随 机 把 原始 数据 分 为 两 组 即 可 ,其 实 严 格 意义 来 说 
Hold - Out Method 并 不 能 算是 真正 意义 上 的 CV ,因为 这 种 方法 没有 达到 交叉 的 由 于 
是 随机 的 将 原始 数据 分 组 ,所 以 最 后 验证 集 分 类 准确 率 的 高 低 与 原始 数据 的 分 组 有 很 大 的 关 
系 , 所 以 这 种 方法 得 到 的 结果 其 实 并 不 其 有 说 服 力 。 

(2) K- fold Cross Validation(K -CV) 

原始 数据 被 分 成 K 组 ( 一般 是 均 分 ), 将 每 个 子 集 数 据 分 别 做 一 次 验证 集 , 同 时 其 余 的 
天 一 1 组 子 集 数 据 作为 训练 集 , 这 样 会 得 到 K 个 模型 ,用 这 K 个 异型 最 终 的 验证 集 的 分 类 准确 
率 的 平均 数 作为 此 K. CV 下 分 类 器 的 性 能 指标 。K -一般 大 于 等 于 2, 实 际 操作 时 一 般 从 3 并 
始 取 ,只 有 在 原始 数据 集合 数据 量 小 的 时 候 才 会 尝试 取 2。K - CV 可 以 有 效 地 避免 过 学 习 以 
及 从 学 习 状 态 的 发 生 ,最 后 得 到 的 结果 也 比较 共有 说 服 力 。 

(3) Leave - One - Out Cross Validation(LOO - CV) 

如 果 设 原始 数据 有 N 个 样本 ,那么 LOO-CV 就 是 N -CV, 即 竺 个 样 木 单独 作为 验 让 集 ， 
其 余 的 N - 1 个 样本 作为 训练 集 , 所 以 LO00 -CV 会 得 到 NN 个 模型 ,用 这 N 个 异型 最 终 的 验 
证 集 的 分 类 准确 床 的 平均 数 作 为 在 LOO -CV 下 分 类 器 的 性 能 指标 。 幅 比 于 前 面 的 K-CV， 
LOO- CV 有 商 个 明显 的 优点 。 

全 集合 中 几乎 所 有 的 样本 皆 用 十 训练 模型 ,因此 入 接近 原始 样本 的 分 布 ,这 样 评估 所 得 
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的 结果 比较 可 靠 。 

@ 实验 过 程 中 没有 随机 内 素 影响 实验 数据 ,确保 实验 过 程 是 可 以 被 复制 的 。 

但 LOO- CV 的 缺点 则 是 计算 成 本 疝 , 因 为 需要 建立 的 模型 数量 与 原始 数据 样本 数量 相 
问 , 当 原始 数据 样本 数量 相当 多 时 ,LOO - CV 在 实际 操作 上 会 有 困难 ,几乎 不 可 实现 .除非 每 
次 训练 分 类 器 得 到 模型 的 速度 很 快 ,或 是 串 以 用 并 行 化 计算 减少 计算 所 需 的 时 间 。 

在 下 面 SVM 相关 参数 的 优化 过 程 中 使 用 的 是 K -CV 方法 ,所 采用 的 测试 数据 也 是 第 12 
章 中 的 数据 ,有 关 数 据 的 详细 介绍 请 参看 第 12. 1. 2 相关 内 容 。 


13.2 模型 建 主 


本 章 要 解决 的 问题 就 是 仅仅 利用 训练 集 找到 分 类 的 最 佳 参数 ,不 但 能 够 高 准确 率 的 预测 
训练 集 而 且 要 合理 的 预测 测试 集 ,使 得 测试 集 的 分 类 准确 率 也 维持 在 一 个 较 高 水 平 , 即 使 得 得 
到 的 SYM 分 类 器 的 学 习 能 力 和 推广 能 力 保持 一 个 平衡 ,避免 过 学 习 和 欠 学 习 状 况 发 生 。 

算法 流程 与 第 12 章 相似 ,只 不 过 多 了 一 个 交叉 选择 最 佳 参数 的 过 程 ,如 周 13 - 1 所 示 ,在 
下 面 MATLAB 实现 环节 会 重点 介绍 这 -部 分 ,关于 选 定 训练 集 , 测 试 集 以 及 数据 预 处 理 过 程 
在 这 里 就 不 再 介绍 了 ,详细 内 容 请 参看 12, 3. 1 和 12. 3. 2 相关 内 容 。 


过 证 JI 全 | | | .区 又 给 汪 志士 | 利 有 最 信 允 数 | ,| 硬汉。 | [na 
和 测试 人 | “| 笋 江枫 处理 | 最 信 参 数 e&g | “in 练 SvMGl 练 集 | “| (测试 集 ) | 分 类 闪现 


图 13-1 模型 整体 流程 


13.3 MATLAB 实现 


其 中 SVM 的 实现 使 用 的 是 libsvm 工 其 箱 , 有 关 libsvm 工具 箱 的 介绍 和 使 用 方法 请 参看 
12. 3,3 相关 内 容 。 


13.3.1 交叉 验证 选择 最 住 套数 c 芭 g 


关于 SVM 参数 的 优化 选取 ,国际 上 并 没有 公认 统一 的 最 好 的 方法 ,目前 常用 的 方法 就 是 
让 < 和 g 在 一 定 的 范围 内 取 值 ,对 于 取 定 的 c 和 8 把 训练 集 作为 原始 数据 集 利用 K -CV 方法 
得 到 在 此 给“ 和 g 下 训练 集 验证 分 类 准确 举 , 最 终 皮 使 得 训练 集 验证 分 类 准确 率 最 高 的 那 组 
和 g 做 为 最 佳 的 参数 ,但 有 一 个 问题 就 是 可 能 会 有 多 组 的 “ 和 8& 对 应 于 最 高 的 验证 分 类 准确 
率 ,这 种 情况 怎么 处 理 ? 这 里 采用 的 手段 是 选取 能 够 达到 最 高 验证 分 类 准确 素 中 参数 最 小 
的 郁 组 ec 和 8& 做 为 最 侍 的 参数 ,如 果 对 应 项 小 的 < 有 多 组 g ,就 选取 搜索 到 的 第 一 组 c 和 4 做 
为 最 佳 的 参数 这样 做 的 理由 是 :过 贞 的 < 会 导 敏 过 学 习 状态 发 后 , 即 训练 集 分 类 准确 率 很 高 
而 测试 集 分 类 准确 率 很 低 5 分 类 器 的 泛 化 能 力 降低 ), 所 以 在 能 够 达到 最 高 验证 分 类 准确 率 中 
的 所 有 的 成 对 的 < 和 中 认为 较 小 的 惩 基 参数 e 是 更 佳 的 选择 对 象 。 

上 面 参数 选取 算法 (将 其 命名 为 算法 CV_cg) 的 伪 代 码 如 下 。 

算法 CV_cg 

给 定 训练 集 train 及 其 标签 train_label, 日 的 是 通过 K -CV 方法 选取 最 佳 的 参数 c 和 g。 


-下 其 妆 帘 计 符 卫 蒜 巷 和 曾 障 亲 
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Start 

% 相应 的 数据 初始 化 

bestAceuracy = 05 

bestc = 03 

bestg= 0 

% 将 e 和 9 划分 网 格 进行 搜索 

for © = 2(cmin) :2*(cmax) 
for g = 2(gmin) :2-(gmax) 

名 采用 K- Cy 方 法 
将 train 大 致 平均 分 为 K 组 ， 


记 trainC1) ,train(2)，…w，train(K) . 
相应 的 标签 也 要 分 离 出 来 ， 
记 为 train_lsbel(1) ,train_label(2)，… ,train_label(K) 
for run = 1:K 
让 train(run) ,作为 验证 集 , 其 他 的 作为 训练 集 。 
记录 此 时 的 验证 准确 率 为 accCrun) 
end 
cv = 《accfi) + acc(2)+…+acc(K) ) / Ks 
证 (cy > bestAccuracy ) 
Pesthccuracy = cvi beatc = ci bestg = gs 


end 


end 
end 
Dver 


其 中 com sco ,gmo gw sK 都 是 给 定 的 数 。 由 于 必须 将 < 和 #8 的 值 进行 离散 化 查找 ,这 里 
将 < 和 & 在 2 的 指数 范围 网 格 内 进行 查找 ,当然 c 和 # 的 查找 范围 可 以 更 加 详细 ,在 编程 实现 
时 这 些 技术 细节 可 以 调整 ,下 面 的 函数 SVMegForClass 可 以 实现 上 曙 的 算法 CV_cg, 看 一 下 
其 琐 数 接 11 和 具体 的 代码 实现 过 程 。 


[bestacc,bestcybestg] ... 
= SVMcgkorClass(train. label, train,cnin, cnax, gnin, gnax,v, cstep,gstep,accstep) 


输入 

train_label: 训练 集 标签 。 要 求 与 libsvm 工具 箱 中 要 求 一 致 。 

train: 训 练 集 。 要 求 与 libsvm 于 具 箱 中 要 求 一 致 

cmin: 惩 镶 参 数 - 的 变化 范围 的 最 小 值 ( 取 以 2 为 底 的 宪 指 数 后 ) ,好 c_min 一 2 (cmin)， 
默认 为 一 5。 

cmax: 乱 罚 参数 c 的 变化 范围 的 最 大 值 ( 取 以 2 为 底 的 究 指 数 后 ), 即 c_max 一 2(cmax)， 
默认 为 5。 

gmin :参数 g 的 变化 范围 的 最 小 值 ( 取 以 2 为 底 的 霸 指 数 后 ), 即 g_min 二 2-C(gmin) ,默认 
为 -5。 

gmax: 参 数 g 的 变化 范围 的 最 小 值 ( 取 以 2 为 底 的 知 指 数 后 ), 即 g_min 一 2 (gmax) ,加 


认为 5。 

v:cross validation 的 参数 , 即 给 测试 集 分 为 几 部 分 进行 cross validation, 默 认为 3。 

cstep; 参 数 c 步 进 的 大 小 (到 以 2 为 底 的 寡 指 数 后 ) ,默认 为 1。 

举例 :车 c 的 变化 范围 是 2 (一 10) 到 2 (10), 及 cstep 二 2, 则 < 的 取 值 分 别 为 2” (一 10)， 
2° (一 8) 2 (10) 

gstcp;: 参 数 5 步 进 的 大 小 ( 取 以 2 为 底 的 宕 指数 后 ) ,默认 为 1。 

举例 : 匠 g 的 变化 范围 慎 2 (一 10) 到 2 (10), 且 cstep 一 2, 则 &g 的 了 到 值 分 别 为 2 (一 10)， 
2 (一 8) .2 (10) 

accstep: 最 后 显示 准确 率 财 时 的 步 进 大 小 ,默认 为 4.5。 

以 上 参数 只 有 train_label 和 train 是 必须 输入 的 ,其 他 的 可 不 输入 采用 默认 值 即 可 。 

输出 

bestace:K -CV 方法 过 程 中 的 最 高 分 类 准确 率 。 

bestc:K - CV 方法 下 最 住 的 参数 c。 

bestg:K…CV 方法 下 最 佳 的 参数 g。 

明 数 SVMcgForClass 保存 在 SVMegForClass. m 文件 中 ,其 源 代 人 码 证 要 内 容 如 下 (全 部 
代码 请 参看 相应 的 本 书 的 代码 ): 


function [bestacc,bestc,bestg] = .- 
SVNMcgforClass(train. label, train, cnin,cnax,gnin,gnax,v,cstep,gstep,accstep) 


名 
前 面 赂 去 了 一 些 默 认输 入 参数 的 设置 代码 


名 将 c 和 9 划分 网 格 ,x 中 记录 的 是 c,Y 中 记录 的 是 g。 

[X,Y] = neshgrid(cmin:cstep: cnax, gnin:gstep: guax); 
[nsn] = size(X); 

%cg 中 将 要 记录 的 是 对 应 不 同 的 c 和 9g 的 K~ CY 过 程 准 确 率 
cg = zeros(mn)s 

名 相关 变量 的 初始 化 

bestc = 03 

bestg = 0 

bestace = 0; 

basenum = 2 


fori= 1:m 


for j = lin 
和 libswn -mat 工具 箱 中 采用 ~* 参数 就 可 以 直接 实现 Kk- cy 方法， 
cad= [一 v nam2strtvV)， 一 cnam2strk basenumX(iyj) ),°" ~- g',num2str( basenumY(i,j) )]; 


og(i,j) = syntraint(train, label, train, cmd)， 


if cali,j) > bestacc 
bestacc = cg(i,j); 
bestc = basenumX(i, ji 
bestg = basenur¥(i,j): 
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end 
# 选取 能 够 达到 最 高 验证 分 类 准确 率 中 参数 = 最 小 的 那 组 “ 和 5 做 为 最 佳 的 参数 。 
和 如 果 对 应 最 小 的 c 有 多 组 g, 就 选取 搜索 到 的 第 一 组 < 和 9 做 为 最 佳 的 参数 。 
eps = 10°( ~ 4) 
证 《abs( cg(i,j) - bestacc )<< = eps $& bestc >> basenumX(iyj) ) 
estacc = cg(i,j)y 
bestc = basenvmrX(i,j); 
bestg = basenumY(i,j); 
end 
end 
end 
老 和 后面 略 去 了 图 形 展示 的 代码 
对 到 
此 
区 下 面 米 应 用 SVMcgForClass 来 考 找 对 十 wine 数据 最 佳 的 参数 c 和 & ,在 实际 纪 操 作 中 也 
容 有 一 些小 技巧 ,可 以 先 在 大 的 范围 粗略 寻找 最 佳 的 参数 < 和 ,比如 让 “ 和 8& 的 取 值 变化 都 
在 为 :2 (一 10)，2 (一 9),……,2° (10)。 
复 MATLAB 代码 如 下 : 
间 
可 [bestacc, bestc,bestg] = ... 
碎 SVMcgForClass(train wine labels,train wine, = 10,10, ~ 10,10); 
任 
可 得 到 的 结果 如 下 (结果 见 图 13 - 2) 
交 参数 选择 引 呆 图 (等 商 线 参数 选择 结果 图 (3D 损 图 )} 
流 0 | 
此 
和 a 
z 
加 6 
由 
5 
[= 4 
中 人 
文 / 出 全 
论 2 7 | 习 
四 » : 
与 吕 | 
交 2 从 \ 
流 、 \ 
, SN 
\ 
126 | 。 SN 
> \\ 和 
。 | 
六 &Y 
\ Ni 
-1 Ly. 
-10 5 0D 5 10 
log2e 


图 13-2 参数 粗略 选择 结果 图 
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打印 粗略 选择 结果 

Best Cross Valldation Accuracy= 98.8764% Bestc = 2 Bestg= 0.5 

上 面 图 形 的 意义 是 了 轴 表 示 * 取 以 2 为 底 的 对 数 后 的 值 ,> 轴 表 示 g 取 以 2 为 底 的 对 数 
后 的 值 , 等 高 线 表示 的 取 相 应 的 < 和 8& 后 对 应 的 氏 - CYV 方法 的 准确 率 , 通 过 图 中 可 以 看 出 可 
以 把 c 的 范围 缩小 到 2 (一 2 一 2 (4) ,同时 g 的 范围 可 以 缩小 到 2 (一 4)~2"(4), 这 样 在 上 
面 粗略 参数 选择 的 基础 上 可 以 再 利用 SVMecgForClass 进行 精细 的 参数 选择 。 

让 c 的 取 值 变化 为 :2 (一 2,2 (一 1.5) 2 (4) ,让 的 取 值 变化 为 :2 (一 ,2 《3.5)， 
…,2”(4) ,并 把 最 后 参数 选择 结果 图 (grid search)? 上 准确 率 的 显示 的 变化 间隔 设 为 0. 9, 这 样 
可 以 更 如 精细 的 看 到 准确 率 的 变化 。 

MATILAB 代码 如 下 


[Lbestacc, bestc, bestg] = SyMcgForClass(train wine, labels,train wine, ~- 2,4，- 4,4.3,0.5:0.5,0.9)1 
得 到 的 结果 如 下 ( 见 图 13 -3)， 
打印 精细 选择 结果 


Best Cross Validation Accuracy = 
98.8764% Bestc = 1.41421 Bestg = 1 


参数 选择 纪 


凡 图 (等 高 线 图 ) 参数 选择 结果 图 (3 了 D 视 图 } 


Accuracy(%) 


图 13-3 参数 精细 选择 结果 图 
至 此 串 以 看 到 在 K - CYV 方法 下 (这 里 K 一 3) 最 佳 的 参数 是 c 一 1.414 21,& 一 1、 


13.3.2 训练 与 预测 
利用 上 面 得 到 的 在 K - CY 方法 下 的 最 佳 参数 ,就 可 以 对 SVM 进行 训练 和 分 类 预测 。 
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MATLAB 代码 如 下 

% 利用 最 侍 的 参数 进行 SV 网 络 训练 

cmd = ['-c',nun2str(beste), -9',nun2str(bestg)]s 
model = svntrain(train wine labels,train wine,cmd); 


多 SVK 网 络 预 测 
[predict_ label,accuracy] = svnpredict(test_wine labels,test_wine,model); 


最 后 得 到 分 类 准确 率 的 结果 如 下 


accuracy = 98.8764 机 《88789) 


13.4 于 例 扩展 


13,4.1 蝴 机 选择 的 参数 下 的 分 类 准确 率 


采用 下 面 的 程序 段 串 以 随机 后 成 在 [0.100j 范 围 内 的 参数 c 和 在 [一 100,1003 范 围 内 的 参 
数 g, 并 利用 这 组 参数 来 训练 SVM 最 后 再 进行 预测 ,运行 若 于 次 下 面 的 程序 段 (在 前 面 数据 
预 处 理 后 州 下 面 的 程序 段 ); 表 13 - 1 所 齐 为 随机 选择 参数 下 的 分 类 准确 率 。 

rand_c = 100* rand(1) 

rand g = 200* rand(1) - 100 

cnd = [~e', nun2str(rand c),' -g', num2str(rand 9g)]; 

model = svntrain(train wine labels, train wine, cad)s 

[predict_label, accuracy] = sympredict(test. wine_labels, test_wine, nodel): 


表 13-1 随机 选择 参数 下 的 分 类 准确 率 


运行 次 数 随机 选 样 的 参数 < 随机 选 氛 的 参数 济 试 集 分 类 准确 冰 
1 B89 | 7 | 9258% | 
2 34. 6806 4.2272 2.1348 吧 
3 了 9220 85. 7708 39. 3258% 
1 | 83.0829 17,0528 1 51. 6854% 


通过 上 表 可 以 看 出 ,随机 选择 的 参数 无 法 保 主 最 丘 测 试 集 分 类 准确 率 达到 理想 的 效果 ,和 
时 候 任 经 验 可 能 会 取 到 较 合 适 的 参数 ,但 也 不 能 保证 此 时 的 参数 是 最 佳 的 。 而 采用 本 案例 中 
的 算法 找到 的 参数 却 能 保证 在 茶 种 意义 下 是 最 住 的 。 


13.4.2 算法 CV_cg 中 对 于 同时 达到 最 高 验证 分 类 准确 率 的 
参数 Cc 和 8g 的 取舍 问题 


关于 对 于 门 时 达到 最 高 验证 分 类 准确 率 的 参数 < 和 8 的 取舍 问题 ,在 算法 CV_cg 的 实现 
过 程 中 ,采用 的 处 理 方法 是 选取 能 够 达到 最 高 验证 分 类 准确 率 中 参数 最 小 的 那 组 < 和 8 做 
为 最 佳 的 参数 ,如 果 对 应 最 小 的 < 有 多 组 g ,就 选 字 搜索 到 的 第 一 组 “ 和 8& 。 事 实 上 ,也 可 以 把 
达到 最 高 验证 分 类 准确 率 的 所 有 的 < 和 g 分 别 记录 下 来 ,在 后 面 对 测 试 集 进行 预测 时 可 以 分 
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别 采用 这 些 参数 , 存 最 后 的 效果 如 何 。 
13.4.3 启发 式 算 法 参数 导 优 


本 章 中 在 CV 意义 下 , 川 网 格 划 分 (grid search) 米 
了 寻找 服 佳 的 参数 c 和 R& ,虽然 采用 网 格 搜索 能 够 找到 在 
CV 意义 下 的 最 高 的 分 类 准确 率 , 即 全 局 最 优 解 ,但 有 时 
候 如 果 想 在 更 大 的 范围 内 半 找 最 住 的 参数 c 和 A 会 很 
费时 ,采用 启发 式 算法 就 冲 以 不 必 遍 历 网 格 内 的 所 有 的 
参数 点 ,也 能 找到 全 局 最 优 解 。 下 面 主要 介绍 丙种 启发 
式 算法 的 参数 斗 优 :遗传 算法 参数 寻 优 和 粒子 群 优化 算 
法 参数 寺 优 。 

1. 遗传 算法 参数 寻 优 

遗传 算法 (GA,Genetic Algorithm) ,起 源 于 对 生物 


二 进 制 编码 
确定 适应 度 两 数 {CY 意义 下 
的 准确 率 ) 
产生 初始 种 伴 
计算 适应 度 函 数 


适应 度 定 标 


系统 所 进行 的 计算 机 模拟 研究 。 美 国 Michigan 大 学 的 
Holiand 教授 及 其 学 生 受 到 后 物 模拟 技术 的 启发 ,创造 
出 了 一 种 基于 牛 物 遗 传 和 进化 贫 制 的 适合 复杂 系统 优 
化 的 自 适 应 概率 优化 技术 。 遗传 算法 。1967? 全 ,Hol- 
land 的 学 生 Bageley 在 其 博士 论文 中 首次 提出 了 “遗传 
算法 ”-- 词 ,他 发 展 了 复制 、 交 义 、. 变 异 . 显 性 . 倒 位 等 遗 
传 算 子 ,在 个 体 编码 上 使 用 双 倍 体 的 编码 方法 。 从 遗传 
算法 的 整个 发 展 过 程 来 看 ,20 世纪 70 年 代 是 兴起 阶段 ， 
20 世纪 80 年 代 是 发 展 阶 段 ,20 世纪 90 和 皇 代 是 皮 潮 阶 
段 。 遗 传 算法 作为 一 种 实用 、 高 效 . 鲁 棒 性 强 的 优化 技 
术 ,发展 极 为 迅速 ,已 引起 国内 外 学 者 的 高 度 重视 。 更 
多 关于 GA 的 基本 理论 和 应 用 的 相关 知识 请 参看 参 考 
文献 所 列 内 容 、 第 3 章 和 第 27 章 。 

以 下 将 对 训练 集 进 行 CV 意义 下 的 准确 率 作为 GA 
中 的 适应 度 函 数值 , 则 利用 GA 对 SVM 参数 进行 优化 
的 整体 的 算法 过 程 如 图 13 -4 所 示 。 

gaSVMcgForClass. m 实现 了 对 于 分 类 问题 的 利用 
GA 来 优化 SVM 参数 的 问题 ,关于 详细 代码 和 实现 过 
程 请 参看 Matlab 中 文 论 坛 相 应 的 本 章 的 代码 附件 。 


选择 操作 
交叉 操作 
变 中 操作 


1 


确定 最 优 解 


输出 最 优 解 【bestc.bestg ) 


图 13-4 利用 GA 优化 SYM 
参数 (c&&g] 的 算法 流程 图 


现 进行 测试 ,测试 数据 仍然 使 用 wine 数据 ,首先 进行 数据 的 提取 和 预 处 理 ( 详 细 参 看 第 
12 章 ) ,然后 利用 gaSVMcgForClass 扼 数 对 wine 数据 进行 SVM 最 佳 参 数 的 寻找 ,最 终 的 适 


应 度 曲线 如 图 13 - 5 所 示 。 
最 终 的 参数 的 选择 结果 及 预测 结果 如 下 : 
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这 已 放 旱 线 Aceuracy( 终 让 代数 =200, 各 时 数 浊 pop=20) 
100 


一 


eo 00 2 60 0 200 


进化 代 娄 


图 13-5 利用 GA 寻找 最 佳 参 数 的 适应 度 {准确 率 } 曲 线 

beste = 

16.1982 
bestg = 

3.3135 
bestCVaccuarcy = 

98.8764 
Rccuracy = 100% (89/89) (ciassification) * 训练 集 分 类 准确 率 
Accuracy = 98.8764% (88/89) (classification) 测试 集 分 类 准确 率 


2， 粒子 群 优化 算法 参数 寻 优 

粒子 群 优化 算法 (PSO, Particle Swarm Optimization? 是 计算 智能 领域 , 除 蚁 群 算法 外 的 
另外 -种 基于 群体 知 能 的 优化 算法 。 该 算法 最 时 由 Kennedy 和 Ebcrhart 于 1995 年 提出 , 它 
的 基本 概念 源 于 对 乌 群 捕食 行为 的 研究 。 

PSO 是 一 种 基于 群体 智能 的 演化 计算 技术 ,5 GA 相 比 PSO 没有 GA 中 的 选择 交叉、 变 
异 的 操作 ,上 而 是 遂 过 粒子 在 解 空间 追随 最 优 的 例子 进行 搜索 。 更 多 关于 PSO 的 基本 理 沦 和 应 
用 的 相关 知识 请 参看 参 各 文献 所 列 内 容 和 第 26 章 。 

以 下 将 对 训练 集 进行 CV 意义 下 的 准确 率 作 为 PSO 中 的 适应 度 函数 值 , 则 利用 PSO 对 
SVM 参数 进行 优化 的 整体 的 算法 过 程 如 图 13 6 所 示 。 

psoSVMegForClass. m 实现 了 对 于 分 类 问题 的 利用 PSO 米 优化 SVM 参数 的 问题 ,关于 
详细 代码 和 实现 过 程 请 参看 Matlab 中 文 论坛 相应 的 本 剖 的 代码 附件 。 

现 进行 测试 ,测试 数据 仍然 使 用 wine 数据 ,首先 进行 数据 的 提取 和 预 处 理 ( 详 细 参 看 
12,3, 1 和 12. 3.2 相关 内 容 ) ,然后 利用 psoSYMcgForClass 函数 对 wine 数据 进行 SVM 最 佳 
参数 的 寻找 ,最 终 的 适应 度 曲线 如 图 13-? 所 未 。 
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~ 
确定 迁 应 度 函 数 ~ 
(CV 意义 下 的 准确 亲 ) 速度 更 新 
于 个 体 更 新 
初始 化 种 婵 和 速度 T 
确定 研 优 角 
让 算 庆 应 度 琢 数 I 
eh 给 山 最 优 解 ( bestc.beste ) = 一 


图 13-6 利用 PSO 优化 SVM 参数 (ec 及 8) 的 算法 流程 图 


迁 谨 从 移 线 Accuracy( 皮 数 c1=1.5,c2=1.7 终 小 代数 =200, 种 瞳 禾 并 pop=20) 
100 


0 0 0 6 8 0 io io 6 订 2 
进 水 代 玫 


图 13 -7 PSO 寻找 最 佳 参 参 数 的 适应 度 (准确 率 ) 曲 线 


bestc = 
34,.7321 
bestg = 
4.5175 
bestCVaccuarcy = 
98.8764 
Accuracy = 100% (89/89) (classification) 训练 集 分 类 准确 衬 
Accuracy = 97.7528% (87/89) (classification) 测试 集 分 类 准确 率 
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更 多 关于 SVM 参数 优化 方面 的 资料 ,请 参看 参考 文献 所 列 内 容 。 
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第 14 章 SVM 的 回归 预测 分 析 
| -一 上 证 指数 开盘 指数 预测 


14.1 业 例 管 景 


在 第 12 和 13 章 中 讨论 了 有 关 利 用 SVM 进行 分 类 的 问题 ,SVM 不 但 订 以 用 来 分 类 也 可 
以 用 来 做 回归 预测 分 析 , 这 个 案例 中 来 看 “下 如 何 用 SVM 做 回归 预测 分 析 。 对 于 大 盘 指 数 
的 有 效 预 测 可 以 为 从 整体 上 观测 股市 的 变化 提供 强 有 力 的 信息 ,所 以 对 于 上 证 指数 的 预测 很 
有 意义 ,通过 对 上 证 指数 从 1990. 12. 20 一 2009. 08. 19 每 日 的 开盘 数 进行 回归 分 析 , 有 最 终 拟 合 
的 结果 是 : 均 方 误 辩 MSE 一 2. 357 05 e- 005 平方 相关 系数 R 一 99.9195%。SVM 的 拟 合 结 
果 还 是 比较 理想 的 。 

测试 数据 了 ,上 证 指数 (1990. 12. 19 -2009. 08. 19) 


整体 数据 存储 在 chapterl4_sh. mat, 数 据 呈 一 个 4579X6 的 double 型 的 矩阵 ,记录 的 是 从 
1990 年 12 月 19 日 至 2009 年 8 月 19 日 这 期 间 内 4 579 个 交易 日 每 日 上 证 综合 指数 的 各 种 指标 ， 
每 -- 行 表示 每 -天 的 土 证 指数 各 种 指标 ,6 列 分 别 才 术 当 大 上 证 指数 的 开盘 指数 ,指数 最 高 值 ， 
指数 最 低 值 ,收盘 指数 ,当日 交易 基 , 当 日 交易 额 。 上 证 指数 每 由 的 开 共 指数 如 图 14 - 1 所 示 。 
上 证 指数 航 代 门 开机 数 (1990.12.20-2009.08， 19) 


7000) 


6000 


5000 


4000 


本 痪 数 


3000 


2000 


1000| 


0 S00 1000 “1500 2000 2500 -300 3800 4000 as00 soo 
突 易 11 天 数 (1990.12.19-2009.08.19) 


图 14-1 上 证 指数 每 日 的 开盘 指数 


全 数据 来 源 : 大 知 曲 证券 软件 http: www. Rw, corn. en 
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新 半 宣 圳 轿 革 直 必 省 济 刘 
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14.2 模型 建立 


模型 目的 :利用 SVM 建立 的 回归 模型 对 上 让 指数 竺 日 的 开 各 数 进行 回归 拟 合 。 

模型 假设 :假设 上 证 指数 斜 日 的 开盘 数 与 前 -- 日 的 开盘 指数 ,指数 最 秽 值 ,指数 最 低 值 , 收 
稚 指 数 ,交易 晶 , 人 交易 额 相关 , 即 把 前 -日 的 开 鹤 指数 ,指数 域 高 值 ,指数 最 低 值 ,收盘 指数 , 交 
易 量 ,交易 额 作为 当 帮 开盘 指数 的 日 变 划 .当日 的 开盘 指数 为 央 变 量 。 
算法 流程 如 图 14 -2 所 示 。 


入 所 模型 假 没 半 定 | ,| 数据 项 处 理 >| 交叉 星 下 选择 四 归 | | 利用 最 全 参数 | | 拉 舍 项 测 | ,| 扣 全 B08 村 | 


内 变 红 条 变 靶 的 最 住 参 数 c&g 训练 SVM 四 {mser} 


图 14-2 模型 整体 流程 


14.3 MATLAB 实现 


SVM 的 实现 使 用 的 是 libsvm 工具 第 ,有 关 libsvm 上 只 箱 的 介绍 和 使 用 方法 请 参看 
12, 3. 3 相关 内 容 。 


14.3.1 根据 模型 假设 选 定 自 变 量 和 因 变 量 


选取 第 1 个 到 第 4 578 个 交易 日 内 每 日 的 开盘 指数 ,指数 最 高 值 ,指数 最 低 值 ,收盘 指数 ， 
交易 恕 ,交易 额 作为 目 变 量 ,选取 第 2 个 到 第 4 579 个 交易 日 内 每 由 的 开盘 数 作为 因 灾 最。 
matlab 实现 代码 如 下 ， 


* 载 人 测试 数据 上 证 指数 (1990.12.19 - 2009.08.19), 载 人 后 数据 存储 在 变量 sh 中 
数据 是 一 个 4579 * 6 的 double 型 的 矩阵 ,每 一 行 表示 每 一 天 的 上 证 指数 的 各 种 指标 

%6 列 分 别 表 示 当 日 圭 证 指数 的 开盘 指数 ,指数 最 高 什 ,指数 最 低 值 , 收 盘 指数 ,当日 交易 量 ， 
% 当日 交易 额 。 

load chapter14._sh. mat; 

* 提取 数据 

n,n: = size(sh); 

ts = sh(2:m,1); 

tsx = sh(1:m— 1,:)+ 


14.3.2 数据 预 处 理 


数据 时 一 化 预 处 理 的 方式 与 第 12 章 所 讲 案例 炎 似 ,使 用 mapminmax 函数 来 实现 ,关于 
数据 预 处 理 的 介绍 这 里 不 肯 缆 述 .需要 说 时 的 是 这 里 不 但 需要 对 因 灾 旱 ( 土 证 指数 每 日 的 开盘 
数 ) 做 门 :化 处 理 , 对 于 自 变 量 也 需 昌 做 同 翌 的 预 处 理 。 

MATILAB 实现 代码 如 下 ， 


% 数据 预 处 理 , 将 原始 数据 进行 归 一 化 


ts = ts 
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tsx = tsx'y 

名 napminmax 为 matlab 自 带 的 映射 函数 
# 对 ts 进行 归 一 化 

[TS,TSps] = napninmax(ts,1,2); 


和 %% mapminmax 为 natlab 自 带 的 映射 函数 

$ 对 tsx 进行 归 一 化 

[TSX,TSXps] = mapninmax(tsx,1,2); 

$% 对 TSX 进行 转 置 ,以 符合 1ibsvn 工具 箱 的 数据 格式 要 求 
TSX = TSX'; 


对 于 上 证 指数 每 日 的 开盘 数 岂 一 化 的 结果 如 图 14 - 3 所 未 (这 里 将 其 归 一 到 [1,2] 区 间 )。 
点 始 下 下 指数 的 竺 11 开 前 数 时 一 化 语 的 图 像 


的 开 嫩 数 


化 后 


明 


0 0 1000 1800 2000 2500 3000 3500 “4000 4800 5000 
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图 14-3 上 证 指数 每 日 的 开盘 数 归 一 化 的 结果 图 


14.3.3 参数 选择 


关于 SVM 参数 优化 的 方法 详细 介绍 请 参看 第 12 总 所 讲 案例 。 第 12 章 中 案例 的 SVMeg- 
ForClass, m 实现 的 是 对 于 分 类 十 找 最 佳 的 参数 < 和 ,对 于 回归 问题 对 SYVMegForClass. m 稍 作 
修改 就 可 以 用 米 寸 找 回归 的 最 佳 参数 和 & ,用 SVMcgForRegress, m 实现 ,长 本 数 接 11 为 


[nse,bestc,bestg] = ... 
SYhcgForRegress( train_label ,train, cnin, enax, guin, guax, v,cstep,gstep,nsestep) 


输入 
train_labe]; 训练 集 标签 ( 待 回归 的 变量 ) ,要 求 与 libsvm 【 具 箱 中 变 求 - 致 。 
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train :训练 集 ( 自 变量 ) ,要 求 与 libsvm 工具 箱 中 要 求 -- 致 。 
cmin; 仿 罚 参数 c 的 变化 范围 的 最 小 值 ( 皮 以 2 为 虐 的 宕 指数 后 ), 即 c_min 一 2 《emin)， 
默认 为 一 5。 


cmax: 惩 名 参数 的 变化 范围 的 最 大 值 ( 取 以 2 为 底 的 苦 指 数 后 ), 即 c_max 一 2 
(emax) ,默认 为 5。 


gmin: 参 数 g 的 变化 范围 的 最 小 值 ( 取 以 2 为 底 的 寡 指 数 后 ) , 即 g_min 二 2 (gmin), 默 
认为 一 5。 

gmax: 参 数 g 的 变化 范围 的 晤 小 值 ( 取 以 2 为 底 的 宕 指数 后 ) , 邮 gmin 一 2 (gmax), 默 
认为 5。 

viCross Validation 的 参数 , 即 给 测试 集 分 为 几 部 分 进行 Cross Validation, 上 默认 为 5。 

cstep: 参 数 " 步 进 的 大 小 ,默认 为 1。 

gstcp; 参 数 g 步 进 的 大 小 ,默认 为 1 。 

msestep: 最 后 显示 MSE 图 时 的 步 进 大 小 ,默认 为 0. 1。 

输出 

mse:Cross Validation 过 程 中 的 最 低 的 均 方 误差 。 

bestc: 最 住 的 参数 c。 

bestg: 最 佳 的 参数 &。 

关于 SVMcgForRegress. m 的 详细 代码 这 里 不 再 更 述 ,与 第 13 章 中 的 SYMcgForClass. m 类 
似 。 利 用 SVMcgForRegress, m 寺 找 问 归 的 最 佳 参 数 ,首先 进行 粗略 的 寻找 ( 见 图 14 -4), 观 
察 碍 略 寻 找 的 结果 后 再 进行 精细 选择 ( 见 图 14 -5)。 
拌 结果 图 (等 高 线 图 ) 参数 渤 择 结果 图 (3D 视 图 ) 


四 5 tog2g log2c 


图 14-4 参数 粗略 选择 结果 轩 
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傅 数 选择 引信 图 (等 高 线 图 ) 人 参数 选择 结果 图 {3D 视图 } 


图 14-5 参数 精细 选择 结果 图 
MATLAB 实现 代码 如 下 ; 


和 首先 进行 粗 赂 选择 : 
[bestnse,bestc,bestg] = ... 
SVMcgForRegress(TS, TSX, — 8,8, ~ B,8) 


名 打印 粗略 选择 结果 

disp( 打 印 粗 路 选择 结果 ); 

str = ... 

Sprintf( 'Best Cross Validation MSE = %g 

Bestc = %gbestg = %g',bestnse,bestc,bestq)s 
disp(str) 1 


* 根据 粗略 选择 的 结果 图 再 进行 精细 选择 : 
[bestmse,bestc,bestg] = ..， 
SVMcgForRegress(YS,TSX, — 4,4, — 4,4,3,0.5,0.5,0.05)s 


% 打印 精细 选择 结果 

disp( 打 印 精细 选择 结果 D， 

str= 

Sprintf( "Best Cross Validation MSE = %g 

Bestc = %g Bestg = %g',bestnse,bestc,bestg); 
disp(str) 


运行 结果 ; 
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打印 粗 覆 选择 结果 
Best Cross Validation MSE = 0.000961388 
Beste = 0.25 Bestg = 2 


打印 精细 选择 结果 
Best Cross Validation NSE = 0.000948821 
Best c = 1 Bestg = 1.6245 


14.3.4 训练 区 回归 预测 


利用 上 面 的 得 到 的 最 佳 参数 c 和 8& 对 SVM 进行 训练 ,然后 再 对 原始 数据 进行 回归 预测 。 
MATIAB 实现 代码 如 下 : 


#% sg% 利用 回归 预测 分 析 最 佳 的 参数 进行 SVK 网 络 训练 
cmd= F-e', nun2str(bestc),' 一 对， 
num2str(bestg) ,' -53 -p0.01] 

model = svatrain(TS, TSX,cnd)s 


和 名 SVM 网 络 回归 预测 
[predict ,nse] = synpredict(TS,TSX,nodel); 
predict = maphinnax(' reverse’,predict',TSps); 


3 


predict = predict's 


运行 结果 ， 
殉 方 误差 HSE = 2.35705e- 005 相关 系数 R = 99.9195% 
最 终 的 回归 预测 结果 ( 见 图 14 - 6) .误差 图 ( 见 图 14 - ?7) 和 相对 误差 图 ( 见 图 14 -8)。 
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图 14-6 回归 预测 结果 图 
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图 14-7 误差 可 视 化 图 
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14.4 案例 扩展 


对 于 股票 指数 来 说 ,大 多 时 候 匹 法 对 其 进行 精确 预测 ,对 投资 最 有 参考 意义 的 是 :能 介 预 
测 它 未 米 3~5 大 的 趋势 和 变化 空间 ? 本 章 中 介绍 了 SVM 在 回归 中 的 应 用 ,在 下 -个 案例 
中 ,首先 用 模糊 信息 粒 化 处 理 原 始 数据 ,然后 青 用 SVM 来 进行 回归 癫 测 , 进 而 可 以 对 上 沪指 
数 末 来 5 天 内 的 变化 趋势 和 变化 空间 进行 预测 ,实例 验证 表明 预测 的 结果 是 串 列 的 。 
更 多 关于 SVM 理论 和 应 用 方面 的 资料 ,请 参看 参考 文献 所 列 内 容 。 
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第 1 章 SVM 的 信息 粒 化 时 序 回归 预测 
二 一 上 证 指数 并 盘 指 数 变化 趋势 和 变化 空间 预测 


15.1 过 例 疹 景 


在 第 14 章 中 对 于 上 证 指数 进行 了 回归 项 测 ,但 是 往往 有 时 候 或 者 大 多 数 时 候 无 法 对 上 证 
指数 进行 精确 的 预测 ,这 时 候 如 果 能 对 上 证 指数 开盘 指数 变化 趋势 和 变化 空间 进行 预测 就 吕 
待 更 为 重要 。 如 昌 能 知道 上 证 指数 下 稚 指 数 变化 趋势 和 变化 空间 ,这 对 于 用 户 来 赔 也 是 上 分 
有 帮助 的 ,在 这 个 案例 里 面 我 们 将 利用 SVM 对 进行 模糊 信息 粒 化 后 的 上 证 每 日 的 开盘 指数 
进行 变化 趋势 和 变化 空间 的 预测 ,通过 实际 从 验 会 看 旬 这 种 方法 乱 十 分 可 行 的 并 昌 结 果 很 是 
可 靠 ,从 而 可 以 看 到 将 SVM 与 其 他 工具 方法 结合 后 SVM 强 有 力 的 效果 。 本 章 的 测试 数据 与 
第 14 章 相 同 ,关于 测试 数据 的 具体 介绍 请 参看 14. 1 。 


15.1.1 信息 粒 化 基本 知识 


由 于 本 案例 中 会 用 到 信息 粒 化 相关 的 知识 ,在 这 里 做 简要 介绍 。 

信息 粒 化 (1G ,Information Granulation) 是 粒 化 计算 和 词语 计算 的 主要 方面 , 研究 信息 粒 
化 的 形成 ,表示 ,粗细 ,语义 解释 等 。 从 本 质 上 讲 ,信息 颗粒 是 通过 不 可 区 分 性 、 功 能 相近 性 、 相 
做 人 性、 函数 性 等 来 划分 的 对 象 的 集合 。 粒 化 计算 (GrC,Granular Compution? 是 信息 处 理 的 一 
种 新 的 概念 和 计算 范式 ,覆盖 了 所 有 有 关 粒 化 的 理 沦 ,方法 .技术 和 工具 的 研究 。 它 是 词 计算 
理论 .粗糙 集 理 论 , 商 空间 理论 ,区 问 计 算 等 的 超 集 ,也 是 软 计算 科 党 的 一 个 分 支 。 它 已 成 为 粗 
粮 及 海量 信息 处 理 的 重要 工具 和 人 智能 研究 领域 的 热点 之 一 。 


15.1.2 信息 粒 化 简介 


信息 粒 化 这 -- 概 念 最 早 是 由 Lotfi A. Zadeh(L. A. Zadeh) 教授 提出 的 。 信 息 粒 化 就 是 将 
一 个 整体 分 解 为 一 个 个 的 部 分 进行 研究 ,每 个 部 分 为 一 个 信息 粒 。Zadeh 教授 指出 :信息 粒 就 
是 一 些 元 素 的 集合 ,这 些 元 素 由 于 难以 区 别 .或 相似 、 或 接近 或 某 种 功能 而 结合 在 一 起 。 

信息 粒 作为 信息 的 表现 形式 在 我 们 的 周围 是 无 所 不 在 的 , 它 星人 类 认识 世界 的 一 个 基本 
概念 。 人 类 在 认识 世界 时 往往 将 一 部 分 相似 的 事物 放 在 一 起 作为 一 个 整体 研究 它们 所 具有 的 
性 质 或 特点 ,实际 上 上 ,这 种 处 理事 物 的 方式 就 是 信息 粒 化 。 而 所 研究 的 “整体 ?就 称 为 信息 粒 。 
例如 :时 间 信息 粒 有 年 月 .日 .时 等 。 从 时 间 中 可 以 看 出 信息 粒 在 本 质 上 是 分 层次 的 ， 
可 以 细 化 为 更 “ 低 ” 一 层次 的 信 
粒 化 中 , 粒 为 目 模 糊 的 粒 化 方式 (c - 粒 化 ) 在 众多 方法 技术 中 起 若 重 要 的 作用 , 代 嘴 
在 几乎 所 有 人 的 推理 及 概念 形成 中 , 粒 都 是 模糊 的 (i - 粒 化 ), 非 模糊 的 粒 化 没有 反映 这 … 事 
实 。 模 糊 信 息 粒 化 正 是 受 人 类 粒 化 信息 方式 启发 并 据 此 进行 推理 的 。 

信息 粒 化 的 主要 三 种 模型 是 ; 基 十 模糊 集 理论 的 模型 ; 若 十 入 炊 集 理论 的 模型 ;于 商 空 间 
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理论 的 模型 。 二 种 模型 之 间 存 在 着 密切 的 联系 与 区 别 。 模 糊 集 理 论 与 粗粮 集 理论 有 很 蝇 的 王 
补 性 ,这 两 个 理论 优化 .整合 在 处 理 知识 的 不 确定 性 和 不 完全 性 时 已 显示 出 更 强 的 功能 。 商 空 
间 理 论 与 粗粮 集 理论 都 是 利用 等 价 类 来 描述 粒 化 ,上 用 粒 化 米 描述 概念 ,但 是 ,它们 讨论 的 出 
发 点 有 所 不 同 。 粗 糙 集 理论 的 论 域 只 是 对 象 的 点 集 ,元素 之 问 拓扑 关 系 不 在 考虑 之 内 ; 商 空间 
理论 是 着 重 研究 空间 关系 的 理论 , 商 空间 理论 是 在 论 域 元 素 之 问 人 在 在 有 拓扑 关系 的 新 提 下 进 
行 研究 的 , 即 论 域 是 一 个 拓扑 空间 。 本 案例 的 采用 的 是 基于 模糊 集 理论 的 模型 。 

20 世纪 60 年 代 , 美 国 著名 数 L.A. Zadeh 提出 模糊 集合 论 , 在 此 基础 上 ,于 1979 年 
首次 提出 并 计 论 了 模糊 信息 粒 化 问题 ,并 给 出 了 一 种 数据 粒 的 命题 纪 画 : 

grisGish 

其 中 ,x 是 论 域 U 中 取 值 的 变量 ,G 是 已 的 模糊 子 集 , 由 求 属 函 数 je 米 刻 唔 。% 表示 可 能 性 概 
率 。 一 般 假设 已 为 实数 集合 RCR" YG 是 上 的 由 模糊 子 集 ,和 4 是 音 位 区 间 的 模糊 子 集 。 

例如 : 


g(x 是 小 的 ?是 可 能 的 
g(x 不 是 很 大 ) 是 很 不 可 能 的 
8 (了 比 y 大 的 多 } 足 不 可 能 的 
另外 ,模糊 信息 粒 记 可 以 由 如 下 命题 刻画 : 
ge 人 risG 
L.A. Zadeh 认为 人 类 在 进行 思考 .判断 、 推 理 时 主要 是 用 语言 进行 的 ,而 诸 言 是 -个 很 粗 
的 粒 化 ,如 何 利 用 语言 进行 推理 判断 ,这 就 是 沉 进 行 词 计算 。 狭 义 的 模 物 词 计算 理论 是 指 利用 
通常 意义 下 的 数学 概念 和 运算 ,诸如 :加 、 减 ,乘除 等 构造 的 带 有 不 确定 或 模糊 值 的 词 计算 的 
数学 体系 。 它 借助 模糊 逻辑 概念 和 经 典 的 群 , 环 , 域 代 数 结构 ,构造 出 以 词 为 定义 域 的 类 似 
结构 。 


15.1.3 模 烟 信息 料 化 方法 模型 


上 模糊 的 信息 粒 化 有 许多 方法 ,比如 区 间 信 息 粒 化 .机 空间 信息 粒 化 , 基 寺 信息 密度 的 信 
息 粒 化 ,在 许多 的 领域 非 异 糊 的 信息 粒 化 方法 也 起 着 重要 的 作用 ,但 许多 情况 下 非 异 糊 的 信息 
粒 不 能 明确 的 反映 所 描述 事物 的 ,因此 建立 模糊 信息 粒 是 必要 的 。 
模糊 信息 粒 就 是 以 模糊 集 形式 表示 的 信息 粒 。 用 模糊 集 方法 对 时 间 序 列 进行 模糊 粒 化 ， 
主要 分 为 两 个 步骤 :划分 窗口 和 模糊 化 。 划 分 窗口 就 是 将 时 问 序列 分 割 成 若干 小 子 序列 ， 作 
为 操作 窗口 ;模糊 化 则 是 将 产生 的 每 “个 窗口 进行 模糊 化 ,生成 -个 个 模糊 集 也 就 是 模糊 信息 
粒 。 这 两 种 广义 模式 结合 在 一 起 就 是 模糊 信息 粒 化 , 称 为 上 - 粒 化 在于- 粒 化 中 ,最 为 关键 的 
是 模糊 化 的 过 程 ,也 就 是 在 所 给 的 窗口 上 建立 一 个 合理 的 模糊 集 ,使 其 能 够 取代 原来 窗口 中 的 
数据 ,表示 相关 的 人 们 所 关心 的 信息 。 本 案例 重点 采用 的 是 Witold Pedrycz(W. Pedrycz} 的 粒 
化 方法 。 

对 于 给 定 的 时 间 序列 ,考虑 单 窗 口 问题 , 即 把 整 个 时 序 X 看 成 是 一 个 窗 襄 进 行 模糊 化 。 
模糊 化 的 任务 是 在 XX 上 建立 “个 懂 糊 粒子 己 , 即 一 个 能 够 合理 描述 天 的 模糊 概念 G( 以 大 为 
论 域 的 模糊 集合 ) ,确定 了 G 也 就 确定 了 模糊 粒子 P; 


8 全 risC 
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所 以 愉 糊 化 过 程 本 质 上 就 是 确定 -个 函数 A 的 过 程 , A 是 模糊 概念 G 的 隶属 函数 ， 即 
入 一 pe。 通常 粒 化 时 首先 确定 模糊 概念 的 基本 形式 ,然后 确定 具体 的 隶 届 遇 数 A。 
在 后 面 的 论述 中 ,在 不 做 特别 声明 的 情况 下 , 模 糊 粒子 忆 可 以 代替 模糊 概念 G, 即 Po 吕 简 
单 描述 为 : 
P=A(r) 
常用 的 模糊 粒子 有 以 下 几 种 基本 形式 :三 角 型 , 梯 型 ,高 斯 型 ,抛物 型 等 。 其 中 王 角 型 模糊 
粒子 为 本 案例 采用 的 ,其 隶属 函数 如 式 15 - 1 所 示 , 图 像 如 图 15 - 1 所 示 。 


or<a 
Term 
ma 
Alriamb) = 4 (15-1) 
bx mrp 
bm 
0,x>6 
1 
08 
06 
04|- 
02 
05 0 1 


图 15-1 一 个 三 角 型 模糊 粒子 的 隶属 函数 例子 


1S.1.4 W. Pedrycz 模糊 粒 化 方法 模型 


建立 模糊 粒子 的 基本 思想 : 

人 模糊 粒子 能 够 合理 的 代表 原始 数据 ; 

@ 模糊 粒子 要 有 一 定 的 特殊 性 。 

即 无 论 使 用 那 种 形式 的 异 糊 集 来 建立 模糊 粒子 ,部 要 满足 上 面 建立 模糊 粒子 的 基本 思想 。 
为 满足 上 述 的 两 个 要 求 ,找到 岗 考 的 最 侍 平 衡 ,可 考虑 建立 如 下 的 关于 A 的 一 个 函数 : 


= Ms 
= 


其 中 MA 满足 建立 模糊 粒子 的 革 本 思想 中 ,Na 满 是 建立 模糊 粒子 的 基 木 思想 @。 
例如 汉 取 Ma = > A(z) .Na 一 measure(supp(A)) 时 
A 


DACz) 
fe 


measure( supp( A)) 


则 为 满足 建立 模糊 粒 了 的 基本 思想 ,只 需 Q 越 大 越 好 。 


QQ 一 
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以 上 模型 算法 由 FIG_D, m 实现 ,在 15.3 中 将 有 介绍 。 


15.2 模型 建立 


模型 日 的 ;利用 从 1990 年 12 月 19 和 到 2009 年 8 月 9 日 这 期 间 内 上 证 指数 竺 上 日 的 开盘 
数 ,预测 下 5 个 交易 日 内 上 证 指数 的 变化 趋势 和 变化 空间 . 即 预测 20,21.24,25,26 这 5 个 交 
易 日 内 上 证 指数 的 变化 趋势 ( 称 体 变 大 或 变 小 ) 和 变化 的 范围 空间 。 

模型 假设 :假设 上 证 指数 每 上 的 开盘 数 与 时 间 禁 关 , 即 把 时 间 点 作为 影响 上 证 指 则 变化 的 
利 变 三。 

算法 流程 如 图 二 -2 所 不 。 


较 化 后 的 原始 | | 利 出 SVM 对 粒 化 | | 给 出 |-iE 指 数 变 化 验证 纠 测 
孤 始 数据 提取 上 -=| 化) 上 | 数据 下 玫 拓 进行 趋势 和 变化 空间 | "| 。 效 打 


图 415-2 模型 整体 流程 


15.3 MATLAB 实 坑 


其 中 SVM 的 实现 使 用 的 是 libsvm 二 只 箱 . 有 关 libsvm 工具 箱 的 介绍 和 使 用 方法 请 参看 
12. 3. 3 相关 内 容 。 


15.3.1 原始 数据 提取 


将 第 1 个 到 第 4579 个 交易 器 内 每 电 的 上 证 指数 开 琢 数 从 原始 数据 提取 出 来。 
MATLAB 实现 代 倘 如 下 : 


! 名 载 人 测试 数据 上 证 指数 (1990. 12.19 - 2003. 08. 19) 

# 载 人 后 上 证 指数 每 日 开盘 数 存 储 在 变量 sh_open 中 

数据 是 -个 4579 * 6 的 double 型 的 矩阵 ,每 一 行 表示 每 一 天 的 上 证 指数 的 各 种 指标 
名 6 列 分 别 表 示 当 日 上 证 指数 的 开 查 指数 ,指数 最 高 值 ,指数 最 低 值 ， 

% 收盘 指数 ,当日 交易 是, 当日 交易 额 。 

load chapter15_sh. oati 

多 提取 数据 

ts = sh_opens 

time = length(ts); 


TY 了 康 赴 剖 洲 该 座 注 洗 本 吾 闹 可 证 训 生 号 东 下 秆 障 凡 


15.3.2 FIG(Fuzzy Information Granulation: 模 糊 信 息 粒 化 ) 
采用 案例 背景 中 介绍 的 模糊 粒 化 模型 对 原始 数据 进行 模糊 信息 粒 化 ,由 FIG_D. m 实现 ， 
其 函数 接口 如 下 。 


[low,Rvup] = FIG_ DOXX,HEkind, win num) 


输入 
XX: 待 粒 化 的 时 间 序 列 。 
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MTFkind: 隶 属 浮 数 种 类 , 即 所 采用 的 模糊 粒子 类 型 ,本 案例 采用 的 起 三 角 型 的 模糊 粒子 ， 
MFkind = 一 "triangle 。 

win_num: 粒 化 的 窗口 数 日 ,即将 原始 数据 划分 为 多 少 窗 果 ,等 一 个 窗口 将 生成 一 个 模糊 
粒子 ,这 里 将 5 个 交易 日 作为 一 个 窗口 的 大 小 , 则 窗口 数 日 为 原始 数据 的 长 度 除 以 5 后 取 整 。 

输出 

low.R.up 分 别 为 模 确 粒子 的 三 个 参数 ,对 于 三 角 型 懂 糊 数 而 言 low,R,up 即 为 a,m,b 
:个 参数 ,其 中 对 于 单个 模糊 粒子 而 言 ,low 参数 描述 的 是 相应 的 原始 数据 变化 的 最 小 值 ,R 
参数 描述 的 是 相应 的 原始 数据 变化 的 大 体 的 平均 水 平 ,up 参数 描述 的 是 相应 的 原始 数据 变化 
的 最 大 值 。 

MATLAB 实现 代码 如 下 : 


名 对 原始 数据 进行 模糊 信息 粒 化 


win num = floor(time/5)} 


tsx = :Win num; 
tsx = tsx', 
[Low.R,Up] = FIG Dlts',' triangle',win num)} 


最 终 粒 化 的 结果 可 视 化 如 图 15 -3 所 示 。 


模 寺 位 息 粒 化 可 视 化 图 
7000 
+ Low 
| * Rl 
| up | 
6000 * 
5000 § 
3 
了 
40oo 上 + 
二 
衬 
i 
3000 全 
上 
2000 上 - 
1000 
oo 


粒 化 窗 1 区 日 


图 15-3 粒 化 结果 转 


15.3.3 利用 SVM 对 粒 化 数据 进行 回归 预测 


利用 SVM 对 Low,R,Up 三 个 模糊 粒子 的 参数 进行 回归 预测 的 过 程 类 似 , 这 里 仅 就 Low 
来 详细 说 明 。 
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对 于 Low 进行 回归 预测 的 过 程 与 第 14 章 中 案例 的 过 程 类 似 ,首先 需要 先进 行 数 据 预 处 
理 ( 归 一 化 ,这 里 将 其 四 -化 到 [100,50071) ,然后 利用 SYMcgForRegress. m 函数 来 寻找 最 佳 的 参 
数 c 和 ,最 后 再 进行 训练 和 预测 。 这 里 仅 给 出 数据 确 处 王 和 车 参 的 结果 ( 见 图 15 - 4. 图 15- 5、 
图 15-6)。 
Low 归 -化 后 的 图 像 
500， T T 二 一 
450 二 了 
+ 上 
400 4 
二 时 
迎 350 | 
时 +- 
兰 + 
风 ¥ FF 
沁 ;4 
内 五 250 + + 
容 + 棋 
有 # ¥ 
任 200 类 
何 条 主 # 
疑 和 区 
问 150 上 | ¥ 让 
可 
网 
任 wo 1 四 四 - 
在 o 100 200 300 400 500 500 700 800 900 1000 
线 粒 化 窗 1 娄 月 
交 图 15-4 Low 归 一 化 后 图 像 
去 打印 粗略 选择 结果 ， 
录 
国 SWH paraneters for Low: 
日 Best Cross Validation MSE = 35.0879 
间 Best c = 256 Best g = 0.03125 
基 打印 精细 选择 结果 ; 
的 SVM paraneters for Low: 
作 Best Cross Validation MSE = 35.0177 
Best ec = 256 Best 9 = 0.0220971 
流 
“ 利用 上 面 得 到 的 最 伟 参 数 来 进行 训练 和 预测 。 
MATILAB 实现 代码 如 下 : 


g 训练 SUN 
cmd = [F'~c',num2str(bestc)," ~ g', non2str(bestg), ~-s3 -pO0.1"]; 


low nodel = suntrain(low,tsx,cnd)y 


$ 预测 
Elon_predict,low msel = svnpredict(low,tsx, low_model); 
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参数 选 择 结 素 图 (等 高 线 图 ) 参数 选择 结 呆 网 (3D 视 图 ) 


log2g 


5 0 log2g 0 . 


图 15-5 参数 粗略 选择 结果 图 


参数 选择 结果 图 (等 高 线 图 ) 参数 选择 结 染 图 (3D 视 期 } 


0 -一 一 一 于 


| 


| 
| 
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log2g 


了 W 
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图 15-6 参数 精细 选择 结果 图 
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low_predict 
predict_low 
predict_low 
predict_low 


可 以 得 到 对 于 Low 的 拟 合 结果 以 及 


= mapninnax(' reverse', low predict, low ps)s 


svmpredict(1 ,win_nun+ 1,10w_nodel); 


= maphinmax(' reverse',predict low, low_ps); 


Mean squared error = 22.0054 (regression) 


Squared correlation coefficient = 0.995366 (regression) 


original vs predict 
6000- 


5oo0| 


4000| 


( 见 图 15-7. 图 15-8) 


10o0 


2000 
t000 
% i a e000 
粒 化 窗 1 数 月 
图 15 -7 Low 的 拟 合 结果 图 
谋 状 (predicted data-original data) 
400| 一 1 


on 

00| 

00' 
0 so0 S00 60 700 


吉 化 窗 |: 数 从 
图 15-8 误差 


to00 
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还 有 可 以 预测 出 下 二 个 安 努 半 内 (20 时 .21 1 ,24 有 .25 有 .26 日) 模糊 粒子 的 low 参数 


predict_low = 2796.8 


15.3.4 上 证 指数 的 变化 趋势 和 变化 空间 及 预测 效果 验证 

对 于 R 和 Up 也 进行 同上 是 预 测 , 最 终 可 以 得 伸 5 个 灾 易 日 内 (20 日 ,21 日 ,24 日 ,25 41 ,26 
由) 模糊 粒子 的 rup 参数 分 别 为 : 

predict r = 2950.0,predict up = 3267.3 

下 面 验证 一 下 预测 的 效果 ,检验 20 外 .21 日 .24 日 ,25 日 ,26 目 这 5 日 内 上 证 指数 的 开盘 
数 是 否 在 上 述 预 测 的 范围 内 .并 与 上 5 个 交易 日 进行 比较 来 整体 看 待 上 证 指数 的 变化 趋势 如 
家 15- 1 所 列 。 

表 15 -1 上 证 指数 变化 趋势 和 变化 空间 预测 


| 18 ET 
112.6 | 4138.2 | 2994.9 2845.3 | 2916.1 | [Low,R,Up]™ [2 796.3,3 138.2,3 380. 2] 
| 2 | 24 | 26 | 殉 测 归 化 范 闻 (由 模 枝 科 子 指 述 } 
“实际 在 训 数 | 2 798.4 | 2905.05 区 2 [ea go 2 8889.74 ow Upl= .2 796, 812 950.0.3 267. 3] 


通过 上 表 可 以 看 到 预测 的 20 日 ,21 1.24 11.25 日 ,26 日 这 5 日 内 上 证 指数 每 日 开盘 数 
的 灾 化 范围 是 准确 的 ,并 且 较 前 5 个 交易 上 市 让 ,20 日 .21 日 ,24 1,25 外 ,26 日 这 5 日 肉 上 
证 指数 开明 数 整体 有 下 降 的 趋势 。 


15.4 案例 扩展 


以 上 的 预测 是 在 8 月 21 日 凌晨 做 出 的 . 苑 当时 还 不 知道 21 日 ,24 日 ,25 利 ,26 日 这 4 日 
的 上 证 指数 的 开盘 数 ,具体 可 以 在 MATLAB 中 文 论坛 里 相应 的 帖子 (日 面 有 发 帖 时 间 ) :ht- 
51 。 


团 与 Matlab 中 文 论坛 原始 帖子 里 


ps// www. loveMATLAB. en/viewthread. php? ti 
本 案例 中 SVM 参数 有 精细 调整 , 故 本 案例 中 的 预测 
的 稍 有 出 人 ,但 兰草 不 大 。 
更 多 关于 SVM 理论 和 庶 用 方面 的 资料 以 及 全 4 
所 询 内 容 。 


附 有 录 


libsvm - mat -加 强 工具 箱 介绍 

由 于 libsvm 的 MATLAB 版 本 的 下 具 箱 libsvm - mat 并 没有 给 出 寻 参 的 函数 模块 ,而 元 
论 利 用 libsvm 工 其 箱 进行 分 类 还 是 回归 ,参数 的 选取 都 是 十 分 重要 的 ,鉴于 此 libsvm - mat - 
加 强 工 具 箱 在 libsvm - mat - 2.89-3 的 基础 上 给 出 相应 的 辅助 昂 数 插件 ,方便 用 户 来 选取 基 
佳 的 参数 ,该 加 强 工 具 箱 可 以 在 MATLABE 中 文 论坛 上 下 载 , 现 对 该 加 强 工具 箱 里 主 变 的 辅助 


粒 化 相关 的 资料 ,部 分 请 参看 参 关 文献 
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项 数 插件 的 接口 进行 介绍 ,所 有 的 源 代码 可 以 到 MATLAB 中 文 论坛 下 载 并 查看 。 
归 一 化 是 数 ;scaleForSVM 


[train_scalevtest_scale,ps]= scaleForSVM(train data,test_data, ynin, ymax)》 


输入 

train_data: 训练 集 ,格式 要 求 与 svmtrain 相同 。 

test_data: 测 试 集 , 格 式 要 求 与 svmtrain 相同 。 

yminsymax: 由 一 化 的 范围 ,即将 训练 集 和 测试 都 归 一 化 到 [ymin,ymaxj, 这 了 两 个 参数 可 
不 输入 ,默认 值 为 ymin 二 0,ymax 二 1, 即 默认 将 训练 集 和 测试 者 归 一 化 到 50,1] 区 间 。 

输出 


train_ 


le: 归 一 化 后 的 训练 集 。 

test_scale: 归 一 化 后 的 测试 集 。 

bs: 归 一 化 过 程 中 的 映射 (方便 反 归 一 化 使 用 ) 。 
pca 降 维 预 处 理 丽 数 ;pcaForSVM 


[train pea,test pcal = PCcaForSVM(train_datavtest_datavthreshold) 


输入 

train_data: 训 练 集 ,格式 要 求 与 svmtrain 相同 。 

test_data: 测 试 集 , 格 成 朗 求 与 svmtrain 相同 。 

thresholq: 对 原始 变量 的 解释 程度 ([0,100] 之 问 的 “个 数 ), 通 过 该 阔 值 可 以 选取 出 主 成 
分 ,该 参数 串 以 不 输 和 人 ,默认 为 90, 即 选取 的 主 成 分 默认 可 以 达到 对 原始 变量 达到 90% 的 解释 
程度 。 

输出 

rrain_pea: 进 行 pca 降 维 预 处 理 后 的 训练 集 。 

test_pca: 进 行 pca 降 维 顶 处 理 后 的 测试 集 。 

网 格 参数 寸 优 函数 (分 类 问题 ) ;SVMcgForClass 

fpbestCVaccuracy,bestc,bestg] = 

SVMcgForClass(train label,train, cmin,cmax,gnin, gmaxvicstep,gstep,accstep) 


输入 

train_label; 训 练 集 的 标签 ,格式 灾 求 与 svmtrain 相同 。 

train: 训练 集 ,格式 要 求 与 svmtrain 相同 。 

cminvcemax: 惩 罚 参 数 c 的 空 化 范围 , 即 在 [2 cmin,2 cmax] 范 围 内 斗 找 最 佳 的 参数 c. 默 
认 值 为 cmin 一 一 8,cmax 一 8, 即 默认 惩 基 参数 e 的 范围 荐 [2 (一 8) ,2 8]。 

gmin,gmax:RBF 核 参 数 g 的 变化 范围 , 邯 在 [2 gmin,2 gmax] 范 围 内 寻找 最 传 的 RBF 
核 参数 g, 默 认 值 为 gmin 二 一 8,gmax 二 8, 即 默认 RBF 核 参 数 g 的 范围 是 [2 (一 8) ,2 8]。 

v: 进 行 Cross Validation 过 程 中 的 参数 , 即 对 训练 集 进行 "一 fold Cross Validation, 默 认 
为 3, 即 鞭 认 进行 3 折 CV 过 程 。 

cstep,gstep: 进 行 参数 寻 优 是 c 和 gg 的 步 进 大 小 , 即 c 的 肥 值 为 2 emin,2" (emin 十 cstep) 
2 cmaxs,g 的 取 值 为 2 gmin,2" (gmin 十 gstep),… ,2^ gmax: 默 认 取 值 为 cstep 一 1,gstep 一 |。 
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accstep; 最 后 参数 选择 结果 图 中 准确 率 离散 化 显示 的 步 进 间隔 大 小 ([0,100] 之 间 的 一 个 
数 ) ,默认 为 4.5。 

输出 

bestCVaccuracy :最终 CV 意义 下 的 最 住 分 类 准确 率 。 

bestc: 最 佳 的 参数 c。 

bestg: 最 位 的 参数 g。 

网 格 参数 好 优 函 数 (回归 门 题 ) :SVMcgForRegress 


[bestCVnse, bestc, bestg] = SVMcgForRegress (train label, train, cminy cmax, gmin, gmax v, cstep, 
gstepvmsestep) 


其 输入 输出 与 SVMegForClass 类 似 , 这 中 不 肯 黄 述 。 
利用 PSO 参数 寻 优 盟 数 (分 类 问题 ) :psoSVMcgForClass 


[bestCVaccuracy, bestc ,bestg, pso_option] = psoSVMcgForClassttrain_ label, train, pso..option} 


输入 

train_label; 训练 集 的 标签 .格式 要 求 与 svmtrain 相同 。 

train: 训 练 集 ,格式 要 求 与 svmtrain 相同 。 

pso_option:PSO 中 的 一 些 参数 设置 .可不 输入 ,有 默认 值 ,详细 请 看 代码 的 帮 鹏 说 明 。 
输出 

bestC Vaccuracy:; 最 终 CV 意义 下 的 最 佳 分 类 准确 率 。 

bestc:; 最 住 的 参数 c。 

bestg: 最 佳 的 参数 g。 

pso_option: 沁 录 PSO 中 的 一 些 参 数 。 

利用 PSO 参数 尘 优 函数 (回归 问题 ) :psoSVMegForRegress 


[bestCVase,bestc,bestg,pso_option] = psoSVMcgForRegress(train_label strain,pso_option) 


其 输入 输出 与 psoSVMegForClass 类 似 ,这 里 不 表 药 述 。 
利用 GA 参数 斗 优 两 数 ( 分 类 问题 ) :gaSVMegForClass 


fbestCVaccuracy,bestc,bestg,ga_option] = gaSyHcgForClass(train_label,trainyga_option) 


输入 

train_label: 训练 集 的 标签 ,格式 要 求 svmtrain 相同 。 

train; 训 练 集 ,格式 要 求生 svmtrain 相同 。 

ga_option:GA 中 的 一 些 参 数 设 置 ,可 不 输入 ,有 默 以 值 ,详细 请 看 代 和 而 的 帮助 说 明 。 
输出 

bestCVaceuracy: 最 终 CV 意义 下 的 最 住 分 类 准确 率 。 

bestc: 最 佳 的 参数 c。 

bestg: 最 佳 的 参数 g。 

ga_option :记录 GA 中 的 一 些 参数 。 

利用 GA 参数 寻 优 函 数 (回归 问题 ) :gaSVMcgForRegress 
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[bestCVnse, bestc,bestg,ga_option] = 
gaSyMegForRegresst train_1abel ,train,ga. option) 


其 输入 输出 与 gaSVMcgForClass 类 似 ,这 早 不 再 蒙 述 。 
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第 16 章 自 组 织 竞 争 网 络 在 模式 分 类 中 的 应 用 
一 一 患者 癌症 发 病 预 测 


16.1 案例 疹 早 


16.1.1 自 组 织 竞争 网 络 概述 


前 而 案例 中 讲述 的 都 是 在 训练 过 程 中 采用 有 导师 监督 学 习 方 式 的 神经 网 络 模 刚 。 这 种 学 
二 方 式 在 训练 过 程 中 ,需要 预先 给 网 络 提 供 期 户 输 出 .根据 期 望 输出 来 涯 整 网 络 的 权重 .使 得 


实际 输出 和 期 望 输出 尽 可 能 地 接近 。 但 是 在 很 多 情况 下 .在 人 们 认 知 的 过 程 中 没有 预知 的 正 
确 模式 ,也 常 说 的 "无 师 自 通 "。 在 这 种 无 监 消 万 期 思 输 由 的 情况 下 ,基于 有 有 导 旺 学 习 的 神 


经 网 络 往往 是 无 能 为 力 的 。 让 组 织 神经 网 络 串 以 通过 对 客观 事件 的 反复 观察 ,分 析 与 比较 .站 
行 提 关 其 内 在 规律 ,并 对 有 具有 上 共同 特征 的 上 吕 物 进行 正确 的 分 类 。 此 种 网 络 更 与 人 及 中 让 物 神 
经 网 络 的 学 习 模 式 类 似 , 即 可 以 通过 自动 寻找 样本 中 的 内 在 规律 和 本 质 属性 . 睛 组 织 、 自 适应 
地 改变 网 络 参 数 与 结构 ,这 也 是 自 组 织 和 名称 的 由 米 。 自 组 织 神经 网 络 的 学 习 规则 大 都 采用 竞 
第 型 的 学 习 规 则 , 详 见 16. 1.2 中 的 讲解 。 

亮 争 型 神经 网 络 的 基本 思想 是 网 络 竞 争 层 的 各 个 神经 元 通过 竞争 米 奖 得 对 输入 模式 的 响 
应 机 会 ,最 后 仅 有 一 个 神经 元 成 为 亮 争 的 胜利 者 .并 将 与 获胜 神经 元 有 关 的 各 连接 权 仁 向着 更 
有 利于 其 竞争 的 方向 调整 。 自 组 织 竞 争 网 络 自 组 织 、 自 适应 的 学 习 能 力 进 一 步 折 宽 了 神经 网 
络 在 模式 分 类 和 识别 方面 的 应 用 。 

16.1.2 竞争 网 络 结构 和 学 习 算 法 

竞争 型 神 经 网 络 有 很 多 具体 形式 种 不 同 的 学 习 算 法 ,本 案例 只 介绍 种 比较 简单 的 网 络 
结构 和 学 习 算 法 ,其 网 络 结构 如 图 16 -1 所 示 。 

竞争 网 络 可 分 为 输入 层 和 竞争 层 。 假 定 输 人 度 几 N 个 神经 元 构成 ,竞争 民有 M 个 神经 
元 。 网 络 的 连接 权 值 为 (二 1,2,… ,Nj 一 1,2,…,M) 骨 满足 约 末 条 件 > ao = 1 。 

在 亮 争 层 中 ,神经 元 之 间 相 互 克 争 ,最 终 只 有 -个 神经 元 效 脏 ,以 适 庶 当 前 的 输 和 样本。 
竞争 胜利 的 神经 元 就 代表 着 当前 答 人 样 在 的 分 类 模式 。 竞 争 型 网 络 的 输入 翌 本 为 二 值 向 黄 ， 
各 元 素 取 值 0 或 者 1。 竞 争 层 神 经 元 ; 的 状态 可 接 下 式 计算 。 

Sm {16-1) 

式 16 1 中 ,x; 为 输入 样本 向 盟 的 第 个 元 素 。 根 据 亮 争 机制 ,党 争 层 中 具有 坡 大 加 权 信 
的 神经 元 & 赢得 竞争 胜利 , 输 山 为 


jl 7 
10， etse 


ffiun n MATLAB 神经 网 络 30 个 案例 分 析 


和 由 二 广电 入 让 和 二 8YJY 从 淹 陈 


ww ttoveMattab.cn 


模式 分 类 


输入 庄 


输入 模式 


图 16-1 基本 竞争 型 神经 网 络 结构 
竞争 后 的 权 值 按照 下 式 进 行 修正 ,对 于 所 有 的 输入 层 神经 元 到 有 


ae 人 06-2) 
起 中 局 为 学 习 瑚 数 .0 之 4 之 <1, 一 般 耻 为 0.01~0.033m 为 输入 层 中 输出 为 1 的 神经 光 个 数 ， 
即 m== Dy 


权 什 消 束 公式 中 的 于 项 胡 疏 泊 之 ;为 1 时. 权 值 增加 ; 击 当 坟 为 时 , 权 值 减 小 也 就 是 


说 , 当 志 活 噬 时 ,对 应 的 第 7 个 权 值 就 增 加 , 举 则 就 减 小 。 由 于 所 有 权 值 的 和 为 1, 所 以 当 第 ; 
个 权 值 增加 或 减 小 时 ,对 应 的 其 他 权 人 就 可 能 减 小 或 增加 。 此 外 , 式 16 - 2 还 保 让 了 权 值 的 调 
整 能 够 满足 所 有 的 权 值 调整 量 之 和 为 0。 


16.1.3 癌症 和 基因 理论 概述 


癌症 (cancer) ,医学 上 称 为 :器 性 肿 痢 Cmalignant neoplasm) ,是 机 体 在 环境 污染 、 化 学 污 
染 ( 化 学 剖 表 ) .电离 辐射 自由 点 毒素、 微 企 物 (细菌 .真菌 ,病毒 等 ) 及 共 代 澳 棕 素 ,遗传 特性 、 
.免疫 功能 秦 乱 等 等 各 种 致 痛 物 质 、 致 痛 因 素 的 作用 下 导 敏 身体 止 常 细胞 发 生 瘤 变 
的 结果 , 常 表 组 织 的 细胞 措 常 增生 而 形成 的 局 部 各 块 。 痛 症 是 机 体 正 常 细胞 在 多 原 
因 、 多 阶段 与 多 次 突变 所 引起 的 “大 类 疾病 ， 闯 细胞 的 特点 是 :无 限制 .无 止境 地 增生 ,使 中 者 
体内 的 肾 养 物质 被 大 藻 消 耗 : 冶 细胞 释放 出 多 种 毒素 ,使 人 体 产生 一 系列 症状 : 癌 细 胞 还 可 转 
移 到 个 身 各 处 皇 长 繁殖 , 千 禾 人 体 消瘦 ,无力 . 贫 蝶 .食欲 不 据 、 发 热 以 及 严重 的 脏 器 功能 受 拟 
徐 。 刁 之 相对 的 有 良性 肿瘤 .良性 肿瘤 则 容易 清除 于 净 ,一 - 般 不 转移 .不 复发 ,对 器 官 .组 织 具 
有 挤 卜 和 阴 赛 作用 ,但 六 症 ( 患 性 肿 痛 ?还 可 破坏 组 级 、 器 官 的 结构 和 功能 ,引起 坏 钨 出 血 合 并 
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感染 ,患者 最 终 山 于 器 条 功 能 误 山 而 死亡 。 

人 体 基因 纪 图 谱 好 比 是 一 张 能 说 明 构 成 鲜 一 个 人 体 细胞 脱氧 核 糙 核 皮 (DNA} 的 30 亿 个 
找 基 对 精确 排列 的 “地 赂 "。 科 学 家 们 认为 ,通过 对 但 一 个 基因 的 测定 ,人 们 将 能 够 找到 新 的 广 
法 米 放疗 和 预防 许多 疾病 ,如 癌症 和 心脏 病 等 。 基 因 有 两 个 特点 ，- 息 能 忠实 地 复制 自己 ,以 
特征 ;二 是 基 央 能 够 * 突 绝 天 多 数 会 导致 奖 炳 ,另外 的 一 小 部 分 是 非 


合 自然 的 个 体 。 
通过 使 用 基 办 芯片 分 折 人 类 甘 内 组 ,可 找 出 臻 病 的 遗传 基因 。 六 症 、 糖 灰 病 等 , 邦 是 遗传 


其 因 缺 陷 引 起 的 疾病 。 医 学 和 生物 学 研究 人 员 将 能 在 数秒 钟 内 鉴定 出 股 终 会 导数 辣 症 等 的 突 
变 基 办。 借 动 - 小 滴 测 试 液 ,区 生 们 能 预测 药物 对 病人 的 幼 效 ,可 诊断 出 药物 在 治疗 过 程 中 的 
不 良 反 应 ,还 能 当场 鉴别 出 病人 受到 了 何 种 细菌 , 病 壹 或 其 他 微生物 的 感染 。 利 用 基因 必 片 分 
析 进 传 基因 ,将 使 10 年 后 对 糖尿 病 的 确诊 率 达 到 50 兴 以 上 。 

林 来 人 们 在 体检 时 ,由 搭载 基因 芯 片 的 诊断 机 器 人 对 受 检 者 取 血 , 转 肯 问 体检 结果 便 可 以 
章 水 在 计算 机 屏 途 上 。 利 用 基因 诊断 ,医疗 将 从 干 篇 一 律 的 "大 众 话 疗 "的 时 代 , 进 步 到 依据 个 
人 遗传 基 内 而 异 的 “定制 医疗 "的 时 代 。 


16.2 模型 建立 


本 案例 中 给 出 了 一 个 含有 60 个 个 体 基因 表达 水 平 的 样本 。 每 个 样本 中 测量 了 114 个 基 
因 特 征 ,其 中 前 20 个 样本 是 瘙 症 病人 的 基因 表达 水 平 的 样本 (其 中 还 可 能 有 子 类 )， 中间 的 20 
个 样本 是 正常 人 的 基因 表达 信息 样本 , 余下 的 2 个 样本 是 待 检测 的 样本 (未 知 它们 是 否 正 
常 )。 以 下 将 设法 找 出 瘤 症 与 正常 样本 在 基因 表达 水 平 上 的 区 别 ,建立 竞争 网 络 模型 去 预测 待 
检测 样本 是 癌症 还 是 正常 样本 。 

本 案例 程序 中 使 用 的 gene. mat 是 一 个 60X114 的 算 阵 , 凤 共 有 60 组 样本 数据 , 色 个 样本 
中 包括 114 个 元 素 。 利 用 newe) 小 数 创建 一 个 自 亮 争 网 络 。 出 于 需要 区 分 的 类 别 数 日 为 2， 
内 此 ,竞争 层 神经 元 的 数 日 也 为 2。 为 了 加 快 学 当 束 度 , 将 学 半 速 率 设 图 为 0.1。 具 体 函 数 使 
用 方法 和 MATIAB 实现 见 16. 3。 


16.3 MATLAB 实现 


本 例 代码 中 使 用 到 的 相关 阔 数 

建立 -个 竞争 居 网 络 ,其 函数 名 称 和 内 容 如 下 。 

net = newc(PR,S, KLR,CLR} 

其 中 ,PR:R 个 输 人 元 素 的 最 大 值 和 最 小 值 的 设 定 值 ， 
S: 神 经 元 的 数 月 。 
KLS:Kohonen 学 习 速率 ,默认 为 0.01。 
CULR:Conscicnce 学 习 速 率 ,默认 为 0.001。 


net = 函数 返回 值 ,一 个 新 的 竞争 层 。 
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We itovedlottab en 
代码 
由于 刻 始 数据 是 60 个 个 体 的 集合 , 首 完 将 样本 分 为 训练 和 顶 测 样本 , 既 前 40 个 为 训练 样 
本 ,后 20 个 为 揣测 样 不 ,代码 实现 如 下 - 
# % 清空 环境 变 最 


clc 


clear 
名 第 录 人 输入 数据 

和 载 人 数据 并 将 数据 分 成 训练 和 预测 两 类 
load gene. mat; 

data = genei 

P= datat1:40,:); 

T= data(41:60,:); 


入 转 置 后 符合 神经 网 络 的 输 人 格式 
P=P'; 
T= 
取 输 入 元 率 的 最 大 信和 和 最 小 值 8: 


Q= minmax(P) 1 


藉 寅 家 计 秩 也 贡 医生 障 呆 


名 名 网 络 建立 和 训练 

多 利用 newc( ) 命 今 建立 竞争 网 络 :2 代表 竞争 层 的 神经 元 个 数 ,也 就 是 要 分 类 的 个 数 。0.1 代表 学 习 
达 举 。 

net = newc(Q,2,0.1) 


4 初始 化 网 络 及 设 定 网 络 参数 ， 
met = init(net)s; 

net. trainparam. epochs = 201 

多 训练 网 络 ; 


net = train(net,P); 
二 网 络 的 效果 验证 
$$ 将 原 数据 回 带 ,测试 网 络 效果 : 


a= sim(net,P)+ 


ac = vec2ind(a) 


YY1LYWK 江 也 市 六 洲 虹 沉 沪 江 习 


$ 这 时 使 用 了 变换 丙 数 vec2ind(), 用 于 将 单 值 向 量 组 变换 成 下 标 向 量 。 其 调用 的 格式 为 : 
% ind= vec2ind(vec) 

[156 | s 其中， 

$ vec: 为 m 行 n 询 的 向 量 乱 阵 x,x 中 的 每 个 列 疝 重工, 除 包含 一 个 1 外 ,其 余 元 素 均 为 0。 

s% ind: 为 n 个 元 家 值 为 1 所 在 的 行 下 标 值 构 成 的 一 个 行 向 量 。 


入 和 网 络 作 分 类 的 预测 
% 下 面 将 后 20 个 数据 带 人 神经 网 络 模型 中 ,观察 网 络 输出 : 
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* sin( ) 来 做 网 络 仿真 
Y= sin(net,T) 
了 = vec2ind(Y) 


结果 如 下 。 


ac = 


Columns 1 through 18 


1 1 1 1 1 1 1 1 1 1 1 1 2 
1 1 1 2 1 
Columns 19 through 36 
1 2 2 2 2 2 2 2 2 1 1 2 2 
1 1 2 2 2 
Colunns 37 through 40 
2 1 2 1 
y= 
Columns 1 through 18 
2 2 1 1 1 1 1 1 1 1 1 1 1 
1 1 1 2 1 
Colunns 19 through 20 
1 1 


顶 测 结 果 如 表 16- 1、 家 16 -2 所 列 。 
表 16-1 训练 数据 的 分 类 结果 


1|2|5|141s|6l7lssfoluolaelasraelsfTrTisTiTao 
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表 16-2 待 分 类 数据 的 分 类 结果 


编 s |1[2|13 :TsTseTriseTs fr TTefwsfaTislilwr ,1120 


分 类 | | zl2223255i513|2 


由 表 16- 1 可 知 , 自 竞 争 网 络 成 功 地 对 40 个 训练 样本 进行 了 聚 类 ,对 数据 的 分 类 错误 率 
为 9/40 一 22. 5% ,此 模型 基本 达到 了 预期 的 精度 要 求 。 并 可 判断 出 :癌症 输入 样本 的 激 洒 神 
经 元 编号 为 1 ,正常 输入 样本 的 激活 神经 元 编号 为 2。 也 就 是 赔 , 激 活 了 编号 为 1 的 神经 元 的 
样本 属于 癌症 患 前 样本 ,激活 了 编号 为 2 的 神经 元 的 样本 属于 正常 样本 。 从 表 16 -2 中 ,可 以 
看 出 在 20 个 待 检测 样本 中 ,1 号 ,2 导 ,17 号 样本 被 划分 为 正常 样本 ,其 余 17 个 待 检测 样本 部 
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划分 为 癌症 样本 。 
由 以 上 例子 ,我 们 可 以 看 出 , 自 组 织 竞 争 网 络 可 以 看 作 一 个 模式 识别 器 ,其 竞争 层 每 个 神 
经 元 都 代表 一 个 类 别 。 再 输入 一 个 新 的 输入 向 量 时 ,可 以 应 用 sim() 湖 数 进行 仿真 


16.4 染 例 扩展 


从 本 案例 可 以 拓展 的 方面 如 下 : 

四 利用 基本 竞争 型 网 络 进行 分 类 ,需要 首先 设 定 输 入 向 量 的 类 别 总 数 ,上 骨 由 此 确定 神经 
元 的 个 数 。 但 是 如 果 利用 SOM 网 络 进行 分 类 却 不 需要 这 样 ,SC)M 网 络 会 自动 将 差别 很 小 的 
样本 归 为 一 类 ,其 别 不 大 的 样本 激发 的 神经 元 位 置 也 是 相 邻 的 。 

回 木 案例 笛 要 注意 的 昆 ,重新 运行 上 述 代码 ,可 能 结果 就 会 不 一 致 ,这 里 因为 每 次 激发 的 
神经 元 不 一 样 , 但 是 ,相似 的 类 激发 的 神经 元 总 是 临近 的 ,差别 很 大 的 类 激发 的 神经 元 由 其 也 
比较 远 。 

图 经 过 训练 ,可 以 看 到 白 竞 争 网 络 在 很 少 的 训练 次 数 下 就 能 达到 较 好 的 效果 。 并 用 在 处 
理 无 监督 的 数据 时 ,可 以 指定 网 络 输出 的 分 类 。 

@ 本 例 中 的 顶 测 效 果 经 对 患 玫 的 随访 发 现 ,预测 率 较 好 。 这 对 癌症 预防 有 很 积极 的 


参考 文献 


1」 飞 思科 技 产品 研发 中 心 . 神经 网 络 与 MATIAN7 实现 LMJ. 北京 :电子 上 业 出 版 社 ,2005、 

-2] 张 德 丰 . MATIAB 神经 网 络 应 出 设计 [M]. 

[3] 土家 华 , 李 志 勇 , 周 冠 武 . 基 丁 Matlab 的 白 组 织 神经 网 络 在 油气 层 识别 中 的 应 用 研究 [中]. 电脑 知识 
与 技术 ，2006,(35) . 

[41 菊 硒 , 周 粘 华 , 基于 模糊 逻辑 的 白 组 织 竞争 网 络 对 操作 风险 强度 的 识别 []-. 中 国 软 科学 ,2007,《01)。 


第 17 章 SOM 神经 网 络 的 数据 分 类 
一 一 柴油 机 故障 诊断 


17.1 染 例 稼 虹 


17.1.1 SOM 神经 网 络 概述 


自 组 组 特征 映射 网 络 (SOM,Self - Organizing Feature Map) 也 称 Kohonen 网 络 , 它 号 由 
和 荷兰 学 省 Teuvo Kohonen 于 1981 年 提出 的 。 该 网 络 是 一 个 由 全 连接 的 神经 元 阵列 组 成 的 无 
教师 . 自 组 织 . 自 学习 网 络 。Kohonen 认为 ,处 于 空间 中 不 同 区 域 的 神经 元 有 着 不 同 的 分 工 ， 
当 -个 神经 网 络 接受 外 界 答 和 人 模 工 时 ,将 会 分 为 不 阿 的 反应 区 域 , 各 区 域 对 输入 模式 共有 不 同 
的 响应 特性 。 

自 组 织 特 征 映 射 神经 网 络 根 据 输入 空间 中 输入 向 其 的 分 组 进 和 
案例 中 的 自 组 织 网 络 (竞争 民 网 络 ? 的 区 别 在 于 :在 SOM 网 络 中 ,竞争 的 神经 元 会 尝试 识 
别 输入 空间 临近 该 神经 元 的 部 分 ,也 就 是 说 ,SOM 神经 网 络 既 可 以 学 习 训 练 数 据 输 入 向 揽 的 
分 布 特征 ,也 可 以 学 习 训 练 数据 输入 向 基 的 拓扑 结构 。' SOM 折 扑 排序 特征 有 关 的 重要 特 
点 是 竹 个 神经 元 与 其 近邻 神经 元 也 是 相关 联 的 。 在 权 值 更 新 过 程 中 ,不 仪 获 脏 神经 苑 的 权 值 
器 最 得 到 更 新 , 售 且 其 近邻 神经 元 的 权 值 向 最 也 按照 某 个 “近邻 诈 数 ” 进 行 更 新 。 这 样 作 开 始 
时 移动 晤 很 大 , 权 信 向 量 大 致 地 呆 按 它们 的 最 终 位置 米 排序 。 虎 后 ,只 移动 单个 权 值 向 其 ( 微 
调 )。 这 样 就 形成 了 一 种 特殊 的 分 类 法 , 权 值 癌 基 按照 这 样 一 种 方式 变 为 有 序 , 即 它们 在 某 个 
“弹性 ”网 格 上 代表 着 输入 向 量 。 如 果 网 格 的 时 个 位 演 有 有 变化 ,上 邢 么 这 种 变化 将 影响 到 此 神经 
天 的 近邻 。 但 是 , 离 该 神经 元 越 运 ,这 种 影响 就 越 小 。 肉 此 ,在 竞争 讨 的 神经 元 位 置 演 变 的 过 
程 中 ,每 个 区 域 代表 一 类 输入 癌 昌 。 换 名 话说 , 枚 有 几 若 下 个 权 傅 向 量 米 表示 一 个 数据 集 ( 输 人 
向 昌 ), 每 个 权 值 向 最 表示 其 类 输入 向 最 的 均值 。 

通过 训练 ,可 以 建立 起 这 样 一 种 布局 , 它 使 得 每 个 权 值 疝 基 都 位 于 输入 向 昌 聚 类 的 中 心 。 
一 日 SOM 完成 训 细 以 用 于 对 训练 数据 或 其 他 数据 进行 内 类 。 


17.1.2 SOM 神经 网 络 结构 


上 暴 型 SOM 网 络 结 必 如 网 17 - 1] 所 下 ,由 和 输入 度 和 竞 币 层 ( 有 些 忆 上 也 称 为 映射 同 ? 组 成 。 
输入 层 神 经 个 数 为 六 , 亮 健 层 由 ax 个 神经 死 组 成 的 二 维 平 击 阵列 ,输入 层 与 竞争 层 各 神经 
无 之 问 实现 全 连接 。 

SOM 了 网络 的 -个 典型 特征 就 是 可 以 在 一 维 或 者 二 维 的 处 理 单元 阵列 上 ,形成 输入 信号 的 特征 
拓扑 分 布 ,因此 SOM 网 络 县 有 抽取 输入 信号 模式 特征 的 能 力 。SOM 网 络 一 般 只 包含 有 一 维 阵列 
和 二 维 阵列 ,但 也 可 以 推广 到 多 维 处 理 单元 阵列 中 去 。SOM 网 络 模型 由 以 下 4 个 部 分 组 成 。 

DBD 处 理 单元 阵列。 用 于 接收 事件 输入 ,并 用 形成 对 这 些 信 号 的 “判别 函数 ”。 
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训 争 技 
(输出 层 ) 


图 17-1 二 维 阵列 SOM 神经 网 络 模型 

@ 比较 选择 机 制 。 几 于 比较 “判别 蚌 数 ”, 并 选择 一 个 具有 最 大 两 数 输出 值 的 处 理 单元 。 

全 局 部 互联 作用 。 用 于 同时 激励 被 选择 的 处 理 单元 及 其 最 邻近 的 处 理 单元 。 

名 正 适应 过 程 。 用 于 修正 被 激励 的 处 理 单元 的 参数 ,以 增加 其 对 应 于 特定 输入 “判别 函 
数 " 的 输出 值 。 
17.1.3 SOM 神经 网 络 学 习 算 法 

Kohonen 自 组 织 特征 喘 射 算法 能 够 自动 找 出 输入 数据 之 间 的 类 似 度 , 将 相似 的 输入 在 网 
络 上 就 近 配置 , 肉 此 是 种 可以 构成 对 输入 数据 有 选择 地 给 予 反应 的 网 络 。Kohonen 的 自 组 
织 特 征 映射 的 学 习 算法 步 又 归纳 如 下 

(1) 网 络 初始 化 

用 随机 数 设 定 输入 层 和 映射 层 之 间 权 值 的 初始 值 。 对 m 个 输入 神经 元 到 输出 神经 元 的 
连接 权 值 赋予 较 小 的 权 值 。 选 取 输 出 神经 元 7 个 "邻接 神经 元 ”的 集合 S 。 其 中 ,Si;(0) 表 下 时 
刻 :=0 的 神经 元 j 的 “邻接 神经 元 ”的 集合 ,S; (0 表示 时 刻 : 的 "邻接 神经 元 ”的 集合 。 区域 
S,( 少 随 着 时 间 的 增长 而 不 断 缩小 。 

(2) 输入 向 量 的 输入 

把 输 人 向量 X 一 (rn zyra…vzo)7 输入 给 输入 层 。 . 

(3) 计算 映射 层 的 权 值 向 量 和 输入 向 量 的 距离 (欧式 距离 ) 

在 映射 居 , 计 算 各 神经 元 的 权 值 向 量 和 输入 向 量 的 欧式 距离 。 映 射 层 的 第 ; 个 神经 元 和 
输入 向 县 的 距离 ,如 式 17 - 1 所 示 。 


{17-1) 


i) — ww 00) 


式 中 ,us 为 输入 层 的 i 神经 元 和 映射 居 的 7 神经 元 之 间 的 权 依 。 通 过 计算 ,得 到 一 个 具有 最 小 
距离 的 神经 元 ,将 其 称 为 胜出 神经 元 , 记 为 j" , 即 碧 定 出 某 个 单元 &: 使 得 对 于 任意 的 记 都 有 
di 三 min(qd,)。 并 给 出 其 邻接 神经 元 集合 。 

(4) 权 值 的 学 习 

按 下 式 17 -2 艇 止 输出 神经 元 7" 及 其 "邻接 神经 元 ”的 权 值 。 


d= 1X-W,l = 
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Am wy ltt DC) = MOD — wh)) (17 2) 
式 中 为 "个 大 于 0 小 于 1 的 常数 , 随 着 时 间 变 化 送 产 下 降 到 0。 
1 ft 加 
70 一 过 或 9O =0.2(1 一 wo5) (7-3) 


(5) 计算 输出 内 
0 = fimin| X— WwW,l) 

式 中 ,f(x* ) 一 般 为 0~1 果 数 或 者 其 他 非 线性 叮 数 。 

(6) 是 否 达到 预先 设 定 的 要 求 

如 达到 要 求 则 算法 结束 ;否则 , 则 返回 步骤 (2) ,进入 下 一 轮 学 习 。 

SOM 网 络 的 结构 和 映射 算法 研究 表明 , 脑 皮层 的 信息 县 有 两 个 明显 的 特点 :其 ,拓扑 映 
射 结 构 不 是 通过 神经 元 的 运动 重新 组 织 实现 的 ,而 是 由 各 个 神经 元 在 不 同 兴 奋 状 态 下 构成 一 
个 整体 ,所 形成 的 拓扑 结构 ;其 二 ,这 种 拓扑 映射 结构 的 形成 只 有 自 组 织 的 特点 。SOM 网 络 中 
神经 元 的 拓扑 组 织 就 是 它 最 根本 的 特征 。 对 于 拓扑 相关 而 形成 的 神经 元 子 集 ,权重 的 更 新 是 
相似 的 。 甘 在 这 个 学 习 过 程 中 ,这 样 选 出 的 子 集 将 包含 不 同 的 神经 元 。 


17.1.4 柴油 机 故障 诊断 概述 


随 着 科学 与 牛 产 技 术 的 发 展 , 现 代 设备 大 多 数 集 负电 液 寺 一 体 ,结构 越 来 越 复 杂 , 自 动 化 
程度 越 来 越 高 。 在 工作 过 程 中 ,故障 发 生 的 概率 相对 提高 ,出 现 故 障 后 不 仪 会 造成 经济 损失 ， 
其 全 会 蛙 怪 整个 设备 道 受 灾难 性 的 毁坏 。 柴 油 机 由 于 其 本 身 的 结 怕 异 常 复杂 ,加 之 系统 的 输 
人 输出 不 明显 ,难以 用 比较 完备 准确 的 模型 对 其 机 构 .功能 以 及 状态 等 进行 有 效 的 描述 ,因而 
给 故障 诊断 带 米 了 很 大 麻烦 。 近 年 来 , 随 着 模式 识别 和 神经 网 络 理 论 的 引 和 人 ,柴油 机 故障 诊断 
技术 有 了 较 快 发 展 。 神 经 网 络 技术 的 出 现 , 为 故障 诊断 问题 提供 了 一 种 新 的 解决 途径 ,特别 是 对 
于 柴油 机 这 类 复杂 系统 。 神 经 网 络 的 输入 输出 非 线性 映射 特性 ,信息 的 分 布 存 储 .并 行 处 理 和 全 
局 集体 应 用 ,特别 是 其 高 度 的 自 组 织 和 自学 习 能 力 ,使 其 成 为 故障 诊断 的 一 种 有 效 方法 和 于 段 。 

对 于 燃油 庄 力 波形 (图 17 - 2) 来 说 ,最 大 压力 
《P1) ,次 最 大 压力 (P,) .波形 幅 度 (P,)、 上 升 沿 宽 
度 (P,) ,波形 宽度 (P,) .最 大 余波 的 宽度 (P,) , 波 
形 的 面积 (P;) ,起 暑 正 力 (P, ) 等 特征 最 能 体现 紫 
油 机 运行 的 状况 。 

燃油 系统 常 匈 的 故障 有 供 油 量 不 吓 , 针 间 门 
卡 上 死 致 油 蕊 阻塞 , 针 闪 浊 露 ,出 油 阁 失效 等 几 种 故 
障 。 本 例 里 诊断 的 故障 也 是 基于 上 述 故 障 , 主要 
有 100% 供 油 革 (T),75% 供 油 量 (T,),25% 供 油 
基 ( 厂 ,怠速 油 星 (CT ), 针 闻 卡 死 (小 油 基 Ts ) , 针 图 17-2 燃油 还 力 波形 
网 卡 死 (标定 油 量 T;), 针 阐 泄 露 (T;) ,出 油 阁 失 
效 (Te)8 种 故障 。 


该 红 宽 度 -| 最 大 东 波 次 度 
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17.2 模型 建立 


本 案例 中 给 出 了 一 个 含有 8 个 故障 样本 的 数据 集 。 每 个 故障 样本 中 有 8 个 特征 ,分 别 是 
前 面 提 及 过 的 :最 大 压力 (P)、 次 最 大 压力 {P; ) ,波形 幅度 (P;)、 上 升 沿 宽度 (P,)、 波 形 宽度 
(Pj .最 大 余波 的 宽度 (P,)、 波 形 的 面积 (P;) 、 起 喷 压 力 (Ps) ,使 用 SOM 网 络 进行 故障 诊断 。 


故障 样本 如 表 17 - 1 所 列 ( 数 据 已 4 一 化 }。 
表 17-1 常见 的 8 种 故障 特征 


输入 样 林 
故障 万 因 Dy Ps PP， ft | rr op P; Ps 
工 0.9323 1. G000 LL Wooo 由 本 3895 1.0000 1. boo0 1.0000 
- Ts 671 外 2854 1 902 和 | 9 9121 D0. 0841 1 1. 0000 .2871 647 
Ts B3134 .343 - 0.97]] .87 1 ,9478 ,95]2 
I Hb 人 5000 外 有 3571 333 -0.5000 
| 七 BE G1258 全 6472 ,0863 .5131 ,4212 
人 G44 .4541 全 1.0000 0 8614 0 B279 ,B783 
I; 0D.4647 .5710 0.0712 一 人 45 人 2571 .8913 0. 8553 0.615% 
Ts 0.6818 1.0000 U2 ,8426 0.6215 0.1574 1.0000 D. 7782 
应 用 SOM 神经 诊断 网 络 柴油 机 故障 的 步骤 如 下 : 
中 选取 标准 故障 样本 ; 


国 对 每 一 种 标准 故障 样本 进行 学 习 , 学 当 结 求 后 ,对 具有 最 大 输出 的 神经 元 标 以 该 故障 


的 记号 


@ 将 待 愉 样 本 输入 到 SOM 神经 网 络 中 ， 


@ 帮 输 出 神经 元 在 输出 屋 的 位 竹 与 菜 标准 故障 样本 的 位 置 相同 ,说 明 待 检 样 本 发 生 了 相 
应 的 故障 ; 芳 输 出 神经 元 在 答 出 层 的 位 贺 介 十 很 多 标准 履 障 之 问 , 说 明 这 儿 种 标准 故障 部 有 可 
能 发 让 ,用 各 故障 的 程度 由 该 位 置 与 相应 标准 故障 样本 位 置 的 欧 氏 距离 确定 。 


17.3 MATLAB 实现 


代 代 中 使 用 到 的 相关 函数 。 

SOM 的 创建 两 数 

newsom() 

该 函数 用 十 创建 一 个 自 组 织 特征 映射 。 其 调用 格式 为 ， 

net = newsom(PRi[di,d1,.*],tfen,dfcd,olr,osteps,tlr ,tns) 

其 中 ; 

PR:R 个 输入 元 素 的 最 大 值 和 最 小 值 的 没 定 值 .R* 2 维 年 阵 。 
出: 第 i 层 的 维 数 ,默认 为 [5.8]。 
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tfen :拓扑 所 数 ( 即 结构 函数 ) ,默认 为 "hextop"。 

dfen :上 距离 函数 ,默认 为 "linkdist" 。 

olr: 分 类 阶段 学 忆 5 ,默认 为 0.9。 

osteps; 分 类 阶段 学 习 的 步 长 ,默认 为 1000。 

tr: 调 谐 阶 段 的 学 习 速 率 ,默认 为 0.02。 

tins; 调谐 阶段 的 邻 域 距离 ,默认 为 1 。 

打数 返回 一 个 月 纪 织 特征 映射 。 

SOM 距离 郴 数 

(1) boxdist() 

该 所 数 为 Box 距离 听 数 。 在 给 定神 经 网 络 党 和 争 层 神经 元 的 位 置 后 ,nj 利用 该 函数 计算 神 
经 元 之 问 的 距离 。 该 函数 通常 用 十 结构 所 数 gridtop 的 神经 网 络 层 。 上 其 调用 格式 为 : 


d= boxdist(pos) 


攻 中 ,pos: 神 经 元 位 置 的 N * S 维 殖 阵 。 

d: 随 数 返回 值 ,神经 元 距离 的 Sx S 维和 矩阵 。 

博 数 的 运算 原理 为 40i. 让 二 max P, 一 ;上 。 开 中 ,d (i, 门 表 水 距离 矩阵 中 的 元 素 ; 忆 ， 
表示 位 转生 阵 的 第 i 列 向 最 。 

(2) dist() 

该 函数 为 欧式 由 离 趾 数 ,通过 对 输入 进行 加 权 得 到 加 权 后 的 输入 。 其 调用 格式 为 : 


2= dist(W,P) 


其 中 ,到 :Sx R 维 的 权 值 短 降 。 

P:Q 组 输入 ( 列 ) 向 昌 的 R* Q 维和 矩阵 。 

世 数 的 运行 原理 为 D=sqriCsum《(zx 一 y)?)) .其 中 x 和 分 别 为 列 问 量 。 

{3) linkdist() 

该 项 数 为 过 接 距 离 函 数 。 在 给 定神 经 元 的 位 置 后 ,该 两 数 吕 用 于 计算 神经 元 之 间 的 中 离 。 
其 调用 格式 为 ， 


d= linkdist(pos) 


其 中 ,pos:N * S 维 的 神经 元 位 置 捧 阵 。 

d:S*S 维 的 距离 短 阵 。 

函数 的 运行 原理 为 : 

0 如 果 i==j 

| 如 果 saz((P, 一 已 20)62s1 

2 如 果 在 在 已 使 得 di 的 一 dk 一 1 

3 ”如果 存 在 妈 ,& ,使 得 di 二 d (kk ) 二 dk 站 一 1 
入 ”如 果 存 在 名 ,和 ,各 ,使 得 dik 二 d(Ri ke) 一 … 二 d(&y,) 二 1 
S 其 他 

(4) mandist() 

该 函数 为 Manhattan 踊 离 陶 数 。 该 渭 数 的 调用 格 碟 为 : 
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2 = mandist(W,P) 


各 参数 含义 清 参见 dist, 晒 数 的 运行 原理 为 d = surmktabs( 和 一 Y))， 其 中 和 和 YY 为 两 个 


最 


SOM 结构 函数 
{1) bextop() 
该 两 数 为 六 角 结 构 函 数 。 其 调用 衬 式 为 : 


pos = hextop( dim! ,dim2 ,ydim3) 


其 中 ， 

dimi: 维 数 为 1 层 的 长 度 。 

pos: 由 N 个 并 列 向 量 组 成 的 N * S 维 知 阵 ,其 中 ,S=diml * dim2* … * dimN 
(2) gridtop() 

该 函数 为 网 格 屋 结构 函数 。 其 调用 格式 为 : 


pos = gridtop(dim] ,dim2,-" ,dinN) 


各 参数 含义 请 参考 hextop()。 
(3) randtop() 
该 果 数 为 随机 层 结构 函数 。 其 调用 属 式 为 ， 


pos = randtop(diml ,dim2,* ,dimN) 


各 参数 含义 请 参考 hextop()。 
MATLAB 实现 代码 如 下 。 


$$ 清空 环境 变量 
cle 


clear 


和 和 录入 输 人 数据 
s* 载 人 数据 
load ps 


* 转 置 后 符合 神经 网 络 的 输 人 格式 
P=P', 


名 网 络 建立 和 训练 

% newsom 建立 SOM 网 络 。Minmax(P) 取 输入 的 最 大 最 小 值 。 竞 争 层 为 5* 6= 36 个 神经 元 
net = newson(minmax(P) ,[6 6]); 

Plotsom(net. layers{1} .positions) 

名 7 次 训练 的 次 数 

a= [£10 30 50 100 200 500 1000]; 

名 随机 初始 化 一 个 1* 10 向量 。 


yc= rands(7,8); 
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多 进行 洲 练 

和 训练 次 数 为 10 次 

net. trainparam epochs = a(1); 

s 训练 网 络 和 查看 分 类 

net = train(net:P) 

了 = sin(net,P); 

YC(1,:) = vec2ind(y)s 

Plotsom(net. 18{1,1} ,net, layers{1}. distances) 


训练 次 数 为 30 次 

net. trainparan. epochs = a(2); 

名 训练 网 络 和 查看 分 类 

net = train(net.,P)s 

Y= sim(net,P), 

yc(2,:) = vec2ind(y)s 

Plotson(net. IN{1,1} ,net. layers(1}. distances) 


名 训练 次 数 为 50 次 

net. trainparan. epochs = a(3); 

和 训练 网 络 和 查看 分 类 

Pet = train(net,P)s 

了 = sim(net,P); 

Ye(3,:) = vec2ind(y)s 

plotsontnet, IN{1,1} ,net, layere{1}. distances} 


训练 次 数 为 100 次 

met, trainparan. epochs = a( 4)s 

多 训练 网 络 和 查看 分 类 

net = train(net,P)s 

Y= sim(net,P)s; 

Ye(41:) = vec2ind(y) 

plotsom(net. IN{1,1} ,net. layers{1}. distances) 


和 训练 次 数 为 200 次 

net. trainparan. epochs = at5) 

$ 训练 网 络 和 查看 分 类 

net = train(net,P)y 

了 = sin(net,P); 

ye(5,1) = vec2ind(y); 

Plotsom(net. IN{1,1} ,net. layers{1}). distances) 


#% 训练 次 数 为 500 次 
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net. trainparanm. epochs = a(é): 

名 训练 网 络 和 查看 分 类 

net = train(net,P)s 

Y= sin(net,P); 

yc(6，:) = vec2ind(y)s 

Blotson(net. IN1,1} ,net. layers{1}. distances) 


% 训练 次 数 为 1000 次 


net. trainparan. epochs = af7)4 
% 训练 网 络 和 查看 分 类 

net = train(net,P) 

Y= sin(net,P)s 

ye(7,:) = vec2ind( 


六 


plotsom(net. IN{1,1) ,net. layers{1} -distances) 


x 
入 年 网 络 作 分 类 的 预测 “ 
% 测试 样本 输入 

t= [0.9512 1.0000 0.9458 ~ 0.4215 0.4219 0.9511 0.9645 0.8941] 5 

名 sint ) 来 做 网 络 仿真 

r= sin(net,t)s 

名 变换 函数 将 单 值 问 量 转 变 成 下 标 向 量 。 

rr = vec2ind(r) 

名 名 网 络 神经 元 分 布 情况 

% 查看 网 络 拓扑 学 结构 

plotsomtop(net) 

% 查看 临近 神经 元 直接 的 距离 情况 

1 Plotsomnd(net) 

% 查看 每 个 神经 元 的 分 类 情况 


plotsomhits(net,P) 


“再 着 证 市 计 凡 生 执 几 各 


YIIYKN 涉 出 让 襄 兴 内 痢 深 天 当 


结果 如 下 : 
了 CE 二 
1 36 1 36 4 36 2 4 
36 1 36 1 3 1 5 了 
36 了 36 13 29 1 12 29 
36 2 36 32 28 25 22 12 
36 25 24 3 21 1 33 6 
36 31 24 3 17 13 28 6 
[166 | 12 1 il 33 23 31 4 35 
12 


:代码 沾 涉及 网 络 拓扑 学 结构 ,临近 神经 元 直接 的 距离 情况 、 每 个 神经 元 的 分 类 情况 的 


部 分 将 在 视频 中 详细 介绍 。 


聚 类 的 结果 如 表 17 -2 所 列 , 当 训练 步 数 为 10 时 ,故障 原因 1 .3 分 为 -类 ,2、4,6 分 为 
类 ,5 .8 为 分 类 ,7 单独 一 类 。 可 和 见 , 网 络 已 经 对 样 木 进行 了 初步 的 分 类 ,这 种 分 类 不 够 精准 。 
表 17-2 网 络 在 不 同 训练 次 数 下 的 分 类 结果 

训练 步 数 | 次 类 结果 
四 四 36 1 36 1 356 2 4 | 
30 3 1 36 1 3 | 1 3 7 

| 5 3 | 3 36 13 国 1 图 a | 
100 2 35 42 2 25 22 12 
200 36 25 24 3 21 上 33 6 
500 36 | al 24 3 四 1 28 a | 
100 | 1 ， 0 3 | 25 | 3 4 35 


当 训 练 步 数 为 200 时 ,每 个 样本 前 被 划分 为 一 类 。 这 种 分 类 结果 更 如 细 化 了 。 当 训练 步 
数 为 500 或 首 1000 时 ,同样 是 每 个 样本 郁 被 划分 为 一 类 。 这 时 如 果 青 提高 训练 步 数 . 山 经 没 
有 实际 意义 了 。 网 络 拓扑 学 结构 如 图 17 -3 所 示 。 

临近 神经 元 直接 的 距离 情况 如 图 17 -4 所 水 。 

每 个 神经 无 的 分 类 情况 如 网 17 -5 所 示 。 

出 图 17 -3 可 知 :竞争 层 神经 元 有 6* 6 一 36 个 :在 网 17 -4 中 , 蓝 色 代表 神经 元 .红色 线 
代表 神经 丈 直 接 的 连接 ,每 个 次 形 中 的 颜色 表示 神经 邢 之 间 路 离 的 远近 ,从 黄色 到 黑色 . 颜 们 
越 深 说 明神 经 元 之 间 的 是 离 越过 。 图 17 - 5 中 蓝 色 神经 元 去 示 竞 争 胜利 的 神经 元 。 

注 : 代 珊 中 涉及 网 络 拓扑 学 结构 .临近 神经 元 之 问 的 中 离 情况 .每 个 神经 元 的 分 类 情况 的 
部 分 将 在 视频 中 详细 介绍 。 

使 用 SOM 网 络 预 测 结 果 如 下 : 


SOM rooology 


， 日 i 2 3 4 s 上 1 1 1 上 3 日 日 


图 17-3 SOM 网 络 拓扑 学 结构 图 17-4 临近 神经 元 之 间 的 距离 情况 


宫 窗 放 屿 了 切 管 汪 院 座 
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图 17-5 每 个 神经 元 的 分 类 情况 
从 疼 17 -5 可 以 看 出 ,SOM 网 络 将 本 知 故障 样本 分 到 了 第 类 故障 里 。 


17.4 六 例 扩展 


17.4.1 SOM 网 给 分 类 优势 

SOM 网 络 的 训练 步 数 影响 网 络 的 洁 类 性 能 ,本 例 选 择 了 10,100,500 次 分 别 进行 训练 . 观 
察 其 性 能 。 发 现 500 次 就 可 以 将 样本 完全 分 开 . 这 样 的 诉 ,就 没有 必要 训练 更 多 次 了 。 另 外 ， 
SOM 网 络 在 100 次 就 可 以 很 快 地 将 样本 进行 精确 的 分 类 ,这 比 - 般 方法 的 紧 类 速度 快 。 


17.4.2 SOM 结果 分 析 上 需要 注意 的 问题 


SOM 程序 执行 时 ,每 次 执行 后 的 结果 不 一 样 ,原因 是 每 次 的 激发 神经 元 可 能 不 一 样 , 但 是 
兆 论 激活 那个 神经 元 ,最 后 的 分 类 的 结果 不 会 改变 。 
17.4.3 SOM 神经 网 络 的 缺点 与 不 足 

所 组 织 竞 争 神经 网 络 算法 能 够 进行 有 效 的 自 适应 分 类 , 供 它 仍 存 在 一 些 问题 。 第 一 个 问 
题 就 是 学 习 速 度 的 选择 使 其 不 得 不 速度 和 最 终 权 值 向 量 的 稳定 性 之 间 进 行 折 中 。 第 二 
个 问题 趾 有 时 一 个 神经 元 的 初始 权 值 问 量 电 输入 向量 太 远 以 至 于 它 从 未 在 竞争 中 获胜 ,内 而 
也 从 末 得 知 党 习 , 这 将 形成 毫 无 出 处 的 * 死 "神经 元 。 
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18.1 染 例 背景 


18.1.1 Elman 神经 网 络 概 述 


向 ,神经 网 络 可 分 为 前 馈 式 和 反馈 式 遇 种 基本 类 型 。 
前 馈 式 网 络 通过 中 入 隐藏 乓 以 及 不 转移 归 数 ,具有 复杂 的 韭 线性 映射 能 力 。 但 前 馈 式 网 
络 的 输出 仪 由 当前 输入 和 权 和 矩阵 ,而 与 网 络 先前 的 输出 结果 无 关 。 反 馈 型 神经 网 络 也 称 
递归 网 络 或 回归 网 络 。 反 馈 神 经 网 络 的 输 和 人 包括 有 延 巡 的 输入 或 者 输出 数据 的 反馈 ,由 于 存 
在 有 反馈 的 输入 ,所 以 它 是 一 种 反馈 动力 学 系统 ;这 种 系统 的 学 翌 过 程 就 足 它 的 神经 元 状态 的 
变化 过 程 .这 个 过 程 地 终 会 达到 一 个 神经 元 状态 不 变 的 ,也 标点 着 学 习 过 程 的 结束 。 

反馈 网 络 的 动态 学 翌 特征, 主要 由 网 络 的 反馈 形式 决定 。 反 馈 网 络 的 反馈 形式 是 比较 多 
样 化 的 ,有 输入 延 退 的 、 单 层 输 出 反馈 的 、 神 经 元 自 反馈 的 、 岗 层 之 癌 寺 相反 馈 的 等 类 坦 。 常 见 
的 反馈 型 神经 网 络 有 Elman 神经 网 络 ,Hopfield 神经 网 络 各 与 离散 Hopfield 结构 相似 的 Bo- 
ltzmann 神经 网 络 等 。Elman 神经 网 络 是 Elman 于 1990 年 提出 的 ,该 模型 在 前 馈 式 网 络 的 隐 
含 居中 增加 了 一 个 承 作为 -一步 延 时 的 算 手 ,以 达到 记忆 的 日 的 ,从 而 使 系统 县 有 适应 时 
变 特性 的 能 力 .能 直接 动态 反映 动态 过 程 系 统 的 特性 。 


18.1.2 Elman 神经 网 络 结构 


Eiman 型 神经 网 络 般 分 为 四 层 :和 输入 居 , 隐 含 层 (中 问 居 ) ,承接 层 和 输出 层 。 如 图 18 -1 
所 示 , 和 输入 居 . 隐 含 层 、 答 出 层 的 连接 类 似 于 前 馈 式 网 络 , 输 入 层 的 单元 仅 起 信和 号 传输 作用 , 输 


根据 神经 网 络 运 行 过 程 中 的 信 


水 接 屋 


图 18-1 Klman 网 络 结构 
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出 民 单 元 起 线性 加 权 作 用 。 陷 含 慨 单元 的 传递 函数 可 采用 线 性 或 非 线性 咀 数 ,承接 层 又 称 为 
上 下 文 层 或 者 状态 层 , 它 用 来 记忆 隐 含 层 单元 前 一 时 刻 的 输出 值 并 返回 给 网 络 的 输入 ,可 以 认 
为 其 一 个 一 步 延 时 算 子 。 

Elman 神经 网 络 的 特点 是 隐 含 层 的 输出 通过 承接 居 的 延迟 与 存储 , 自 联 到 隐 含 层 的 和 输入。 
这 种 月 联 方式 使 其 对 历史 状态 的 数据 具有 敏感 性 ,内 部 反馈 网 络 的 如 和 人 增加 了 网 络 本 身 处 理 
动态 信息 的 能 力 , 从 而 达到 动态 建 模 的 日 的 。 此 外 ,Elman 神经 网 络 能 够 以 什 总 精度 逼近 任意 
非 线性 映射 ,可以 不 考虑 外 部 吧 声 对 系统 影响 的 具体 形式 ,如 果 给 出 系统 的 输入 输出 数据 对 ， 
就 可 以 对 系统 进行 建 模 。 

18.1.3 Elman 神经 网 络 学 习 过 程 
以 图 18 .1 为 例 ,Elman 网 络 的 非 线性 状态 空间 表达 式 为 
PR) 一 gr xCk)Y 
XE) = fw x Ck) + ww utk -1))) 
Xk) = x -1) 


式 中 ,y 为 m 维 输出 结 点 向 晤 ;x 为 4 维 中 间 雇 结 点 单元 向 量 ;w 为 维 输入 向 车 ;x 为 1 维 反 . 


馈 状 态 向 车。 为 中 问 展 到 和 输出 层 连 接 权 值 ;ar* 为 输入 层 到 中 间 居 连接 权 值 ;ut 为 承接 层 
到 中 间 屋 的 连接 疏 值 。g( x 为 输出 神经 元 的 传递 咀 数 ,是 中 间 层 输出 的 线性 组 合 。FCx ) 为 
中 间 屋 神经 元 的 传递 两 数 , 常 采 用 S 是 数 。 

Flman 神经 网 络 也 采用 BP 算法 进行 权 值 修 扩 ,学 当 指 标 函 数 采用 谋 差 平方 和 函数 。 


E(a 一 Dy) -和 (zy 


[es 


式 中 ,只 (o) 为 日 标 输 人 向 显 。 
18.1.4 电力 负荷 预测 概述 


电力 系统 由 电力 网 、 电 力 用 户 共 同 组 成 。 其 任务 是 给 广大 用 户 不 间断 地 提供 经 济 、 可 靠 、 
符合 质 基 标 准 的 电能 ,满足 各 类 负荷 的 需求 ,为 社会 发 展 提供 动力 。 由 于 电力 的 生产 与 使 用 县 
有 有 特殊 性 , 即 电能 难以 大 而 的 铺 存 ,而 且 各 类 用 户 对 邮 力 的 需求 是 时 刻 变化 的 ,这 就 要 求 系统 发 
电 出 力 应 随 时 紧 跟 系 统 负荷 的 变化 动态 平衡 , 即 系统 要 最 大 限度 地 发 挥 肌 设备 能 力 ,使 整个 系统 
保持 稳定 已 言 效 地 运行 ,以 满足 用 户 的 需求 。 省 则 ,就 会 影响 供用 电 的 质 昌 , 甚 至 危及 系统 的 安 
金 与 稳定 。 肉 此 ,电力 系统 负 位 珊 测 技术 发 展 起 来 .并 用 是 这 一 切 得 以 顺利 进行 的 前 提 和 基础 。 

负 丛 正 测 的 核心 问题 是 顶 测 的 技术 问题 ,或 者 说 是 项 浏 的 数学 模型 。 传 统 的 数学 模型 是 
用 现成 的 数学 表达 式 加 以 描述 ,具有 计算 量 小 .速度 快 的 优点 .但 同时 也 存在 很 多 的 缺陷 和 局 
限 性 ,比如 不 具备 自学 习 、 白 适应 能 力 、 项 测 系统 的 鲁 棒 性 没有 保障 等 。 特 别 是 随 若 我 国 经 济 
的 发 展 , 岂 力 系 统 的 结构 日 趋 复杂 ,电力 仙 信 灾 化 的 非 线 性 ,时 变性 和 不 确定 性 的 特点 殉 加 明 
最 ,很 难 建立 “个 合适 的 数学 模型 来 清晰 地 表达 负荷 和 影响 负荷 的 变量 之 间 的 关系 。 而 蒜 于 
神经 网 络 的 站 数学 模型 巴 测 法 ,为 解决 数学 模型 法 的 不 足 提供 了 新 的 思路 。 


18.2 模型 建立 


利用 人 .神经 网 络 对 电力 系统 负荷 进 行 预 济 , 实 际 上 是 利用 人 工 神 经 网 络 可 以 以 任意 精 
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度 通 近 任 一 非 线性 函数 的 特性 及 通过 学 习 历 史 数据 建 模 的 优点 。 而 在 各 种 人 工 神 给 网络 中 ， 
反馈 臣 神 经 网 络 又 因为 其 具有 输入 延迟 ,进而 适合 应 用 于 电力 系统 负荷 预测 。 根 据 负 荷 的 历 
史 数 据 , 选 定 反馈 神经 网 络 的 输入 、 输 出 节点 ,来 反映 电力 系统 负荷 运行 的 内 在 规律 ,从 而 达到 
预测 未 来 时 段 负 荷 的 目的 。 央 此 ,用 人 工 神经 网 络 对 电力 系统 负荷 进行 预测 ,首要 的 问题 是 确 
定神 经 网 络 的 输入 ,输出 入 点 ,能 使 其 反映 电力 负荷 的 运行 规律 。 

一 - 般 来 说 ,电力 系统 的 人 负荷 高 峰 通常 出 现在 人 等 天 的 89 一 19 时 之 间 , 出 于 篇 盎 的 原因 ,本 案 
例 只 对 每 天 上 午 的 逐 时 负 街 进行 预测 , 即 顶 测 竺 天 9 一 11 时 共 3 小 时 负荷 数据 。 电 力 系统 负 
项 数据 如 表 18 一 1 所 列 , 以 下 数据 为 真实 数据 ,已 经 经 过 归 一 化。 

表 18-1 电力 系统 负荷 数据 


时 间 负 从 数据 时 阿 负 答 数 所 
08. 10. 10 上 129 1] 让 人 7976 2048. 10. 417 ml 9 人 6911 ,Tid 
[005 10.11 D.108 4 站 和 579 站 多 1 名 下 2008. 0 6 O1237 1.803 1 
2008. 10. 12 | .1828 9 F977 - [3 2008, 10. 13 v.1721 ,P626 
2008, 10. 13 D.122 0 S468 CG B04 8 20H0R 10, 18 0.1432 .5845 ,7942 
| 2008 10.414 如, 113 ,3 DO. 814 
利用 前 8 天 的 数据 作为 网 络 的 训练 样 不 ,每 3 天 的 负荷 作为 输入 向 量 ,第 4 天 的 负荷 作为 
日 标 向 最 ,这 样 可 以 得 到 5 组 训练 样本 。 第 9 大 的 数据 作为 网 络 的 测试 样 木 ,验证 网 络 能 对 


合理 地 预测 出 当 夫 的 负荷 数据 。 
18.3 MATLAB 实现 


建立 一 个 Elman 网 络 , 共 函 数 名 称 和 内 容 如 下 : 
newelm() 

限 数 用 途 :创建 -个 Elman 网 络 

其 调用 格式 为 : 


net = newelm(PR,[S1 S2…. SN1], {TF} TE2.. .TEN1) ,BTF,BLE,PF,IPF.OPF) 


PR:R 组 输 和 元素 的 最 小 值 和 最大 值 的 设 定 值 ,R * 2 维 的 矩阵 。 

T;SN* Q2 的 具有 SN 个 元 素 的 输出 矩 翼 。 

Si: 第 1 居 的 长 度 。 

TFi: 第 i 层 的 传递 丽 数 ,默认 为 :隐藏 层 为 'tansig 输出 民 为 purelin 。 

BTF: 反 向 传播 神经 网 络 训练 蚂 数 ,默认 为 rrainlm ) 。 

BLF: 反 向 传播 神经 网 络 权 值 / 岗 值 学 习 函 数 ,默认 为 learngdm 。 

PF: 人 性 能 蚌 数 ,默认 为 mse 。 

IPF :输入 处 理 函 数 ,默认 为 :( fixunknowns removeconstantrows', mapminmax'}'。 
OPF: 输 出 处 理 晴 数 . 默 认为 {removeconstantrows', mapminmax'}'。 

MATLAB 实现 代码 如 下 。 
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#% #% 清空 环境 变 最 
cles 

clear all 

close all 

nntwarn off; 


名 名 数据 载 人 


load data; 
a= datai 


和 和 选取 训练 数据 和 测试 数据 


for i=1:6 


B(i,:) = [ai,;) aditi,) ait2,:)]; 


end 

训练 数据 输入 
ptrain= p(1:5,;): 
# 训练 数据 输出 
t_train= af4:8，:) 1 
$$ 测试 数据 输入 
P_test = p(6,:); 

* 测试 数据 输出 

t test =a(9,;); 


$ 为 适应 网 络 结构 做 转 置 


p_train=p_train'y 
ttrain= ttrain's 


Pp.test =p, test'; 


名 名 网 络 的 建立 和 训练 

# 利用 循环 ,设置 不 同 的 隐藏 层 神 经 元 个 数 
nn=[?31141835 

for i=1:4 


threshold= [0 110 110 40 110 130 110 110 1;0 1]; 
建立 Elnan 神经 网 络 隐藏 层 为 mm(iD 个 神经 元 
net = newelm(threshold, [nn(i),3],{" tansig', purelin')); 


* 设置 网 络 训练 参数 
met ,trainparan. epochs = 1000; 
net. trainparan. show = 205 


% 初始 化 网 络 
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六 认 训 秩 卫 共 入 过 济济 
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end 


net = init(net)s 
入 Elman 网 络 训练 

net = train(net,p. train,t._train); 
% 预测 数据 

了 = sin(net,p_test); 

# 计算 误差 


error(i,:) = 了 "一寸 testy 


%% 通过 作 图 观察 不 河 隐藏 蝴 神 经 元 个 数 时 ,网 络 的 预测 效果 


plot(1:1:3,error(tl,:) ,~ ro', linewidth',2); 


hold on 
车 plot(1:1:3,error(2,:), b:x', linewidth',2); 
和 hold oni 
此 plot(1;1:3,error(3,;),k- .s', linewidth',2); 
去 1 hold oni 
容 plot(1:1:3verror(d,:)，c- —-d', linewidth',2), 
丰 title(' Elman 预测 误差 图 7 
何 set(gea, Xtick',[1:3]) 
车 jegend( 7 了 4 11 7 14','18', location ，best 人 
可 xlabel( 时 间 点 ) 
以 Ylabel(' 误 差 ) 
区 hold off; 


证 YTLY 赔 社内 诈 六 沿 或 窒 


ry 
oo 
全 


预测 的 结果 如 下 : 
山 疼 18 -2 可知 :网 络 预测 误差 还 是 比较 小 的 ,但 是 ,中 间 神 经 元 为 14 出 


Elman 搞 测 庶 其 图 
0.08 


水 


2 
时 间 点 


图 18-2 Elman 神经 网 络 预测 误差 图 


出 更 了 较 大 的 误 


第 18 章 Flman 神经 网 络 的 数据 预测 -…- 电力 负荷 预测 模型 研究 hvunn 


Www.iLoveMatlab-en 


其。 这 可 能 是 训练 样本 太 小 导致 的 。 当 中 间 神 经 区 为 11 个 时 ,网 络 的 顷 测 误差 她 小 ,也 就 是 
预测 性 能 最 好 。 因 此 ,对 于 本 例 , 中 间 层 神经 元 的 最 佳 数 日 应 该 是 11 个 。 


18.4 过 例 扩展 


日 前 ,电力 系统 的 负 芥 驴 测 仍然 是 个 难点 .这 主 密 古 由 于 电力 系统 的 复杂 性 造成 的 。 

本 例 只 是 为 时 间 序 列 等 数据 提供 沂 测 的 依据 和 思路 。 由 于 电力 负 菩 特性 变化 受制 于 其 他 
诸 凶 因 来 ,而 基础 数据 局 限 , 天 气 信息 数据 的 缺乏 等 情况 影响 了 负荷 顶 测 精度 。 另外， 
对 于 电力 蔬 测 来 说, 只 考虑 历史 数据 是 不 够 的 。 对 于 一 个 实际 的 时 间 序 列 , 它 的 预测 值 不 仅仅 
忆 关 于 万 史 数据 ,而 凡 受 许多 突变 因素 的 影响 。 芝 外 ,由 于 工作 1 和 节 假 上 的 负荷 不 同 , 还 要 
考虑 时 间 特 征 值 。 杯 例 由 于 籍 幅 丰 限 , 对 顶 测 模型 简单 化 ,但 这 并 不 影响 Elman 预测 功能 的 
演示 。 

Biman 神经 网 络 是 一 种 典型 的 动态 神经 网 络 , 它 是 在 BP 网 络 的 基本 结构 的 基础 上 ,通过 
存储 内 部 状态 使 其 具备 映射 动态 特征 的 功能 ,从 市 使 系统 具有 适应 时 变 特性 的 能 力 。 

由 于 训练 样本 较 少 ,预测 时 出 现 相 多 较 大 的 误差 的 情况 是 可 能 的 。 可 以 通过 加 大 样本 量 ， 
举 先 别 除 错误 数据 等 避免 。 
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第 19 章 概率 神经 网 络 的 分 类 预测 
一 一 基于 PNN 的 变压器 故障 诊断 


19.1 案例 营 景 


19.1.1 PNN 神经 网 络 概述 


委 率 神经 网 络 (probabilistic neural networks) 是 D.F. Sbecht 博 二 在 1989 年 首先 提出 

的 ,是 一 种 基于 Bayes 分 类 规则 与 Parzen 窗 的 概 闵 密度 明 数 估计 方法 发 展 而 米 的 并 行 算法 。 
它 是 “类 结构 简单 .训练 简洁 .应 用 广泛 的 人 工 神经 网 络 。 实用 中 ,万 其 是 在 解决 分 类 
法 所 做 的 工作 ,同时 保持 非 

训练 ,内 而 


线性 算法 的 高 精度 等 特性 ;这 种 网 络 对 应 的 权 值 就 是 模式 样本 的 分 布 ,网 络 不 外 
能 够 满足 加 多 时 处 邵 的 要 求 。 

PNN 网 络 号 出 向 向 基 天 数 网 络 发 展 而 来 的 :种 前 馈 型 神经 网 络 , 共 理论 依据 是 贝 叶 斯 最 
小 风险 准则 ( 即 内 时 斯 决策 理论 ) ,PNN 作为 网 络 的 一 种 ,适合 于 模式 分 类 。 当 分 布 密 
度 SPREAD 的 值 接近 于 0 时 , 它 构 成 最 邻 分 SPREAD 的 值 较 大 时 . 它 构 成 对 几 个 训 
练 样 本 的 临近 分 类 器 。PNN 的 度 次 模 而 ,由 输入 屋 ,模式 层 , 求 和 层 , 输 出 层 共 4 层 组 成 ,其 基 
本 结构 如 图 19 -1 所 估 。 


求 和 屋 。 输 出 层 


图 19-1 概率 神经 网 络 基本 结构 
输入 层 接收 来 自 训练 样本 的 值 ,将 特征 向 其 传递 给 网 络 , 睦 神经 抑 数 日 和 样本 矢 基 的 维 数 
和 相等。 模式 尽 计算 输入 特征 向 基 与 训练 集中 各 个 模式 的 抱 配 关系 ,模式 层 神 经 元 的 个 数 等 于 
各 个 类 别 训练 样本 数 之 和 ,该 凡 合 个 模式 单 苞 的 输出 为 
JW rp 
式 申 .W, 为 输入 居 到 模式 层 连接 的 权 人 ;6 为 平滑 网 子 , 它 对 分 类 的 起 状 全 关 重 要 的 作用 。 
第 3 层 足 求 和 上 央 ,是 将 属于 某 类 的 概率 累计 , 按 式 19 1 计算 ,从 而 得 到 故障 模式 的 估计 
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概率 密度 打数 。 每 -类 只 有 一 个 求 和 层 单元 , 求 和 层 单 元 与 愉 属 于 自己 类 的 模式 层 单元 相连 
接 , 而 与 模式 层 中 的 其 他 单元 没有 连接 。 内 此 求 和 居 单 元 简单 地 将 属于 自己 类 的 模式 层 单 死 
的 输出 相 如 , 谭 与 属于 其 他 类 别 的 模式 尼 单 元 的 输出 励 关 。 求 和 层 单 匹 的 输 册 与 各 类 基 十 内 
核 的 概率 密度 的 估计 成 比例 ,通过 输出 层 的 归 一 化 处 再， 得 到 各 类 的 概率 估计 。 网 络 的 输 
出 决策 层 由 简单 的 国 值 关 别 器 组 成 ,上 共 作 用 是 在 各 个 故障 模式 的 信 计 概率 密度 中 选择 一 个 具 
有 最 人 后 验 概率 密度 的 神经 元 作为 整个 系统 的 输出 。 输 出 层 神经 下 是 一 种 竞争 神 然 元 ,每 个 
神经 元 分 别 对 -个 数据 类 型 即 夏 障 模式 ,输出 层 神经 元 个 数 等 十 训练 样本 数据 的 种 类 个 
数 . 它 接收 从 求 和 层 输 出 的 各 类 概率 密度 消 数 ,概率 密 庶子 数 最 大 的 那个 神经 元 输出 为 1, 即 
所 对 应 的 那 类 即 为 竺 识别 的 样本 模式 类 别 , 其 他 神经 元 的 输出 全 为 0。 

基于 PNN 的 故障 诊断 方法 是 概率 统计 学 中 被 广泛 接受 的 一 种 决策 方法 .可 描述 为 :假设 
有 两 种 已 知 的 故障 模式 6 .加 ,对 于 此 判断 的 故障 特征 样本 其 一 (ra ys 

ala fa XAhets fy X), 则 XEO,: 

若 Bats fa CO hat fn(X) .NM XE 

臣 中 ,sphs 为 履 障 模式 的 名 ,9s 先 验 概率 (hs 二 NAN ,hn 一 Nn/N) ;Na Ns 为 故障 模式 
的 .bs 的 训练 样本 数 ;N 为 训练 样本 总 数 :8 为 将 本 属于 8、 的 故障 特征 样本 X 错误 地 划分 
到 模式 bs 的 代价 因子 ;ls 为 将 本 属于 br 的 故障 特征 样本 导 错 误 地 划分 到 模式 gx 的 代价 办 
子 ;Jawfr 为 故障 模式 949 的 概率 密度 函数 (PDF ,Probability Density Function) .通常 PDF 
不 能 精确 地 获得 ,只 能 根据 现 有 的 故障 特征 样本 求 其 统计 值 。 

1962 年 Parzen 提出 了 一 种 从 已 知 随机 样 不 中 估计 概率 密度 岗 数 的 方法 ,只 要 样本 数 日 
是 够 多 ,该 方法 所 获得 的 旺 数 串 以 连续 平 沙 地 鼻 近 原 概 率 密 度 果 数 ， 山 Parzen 方法 得 到 的 
PDF 佑 计 式 如 下 


1 1 (XKX— KX) KX) 四 
0 = mr mr 28 J C1972 


不 中 ,Xi 为 故障 模式 9 的 第 ;个 训练 向 量 ;mm 为 履 障 模 式 gs 的 训练 样本 数 日 ;6 为 平滑 参数 ， 
其 取 值 确定 子 以 样本 点 为 中 心 的 钟 状 册 线 的 宽度 。 


19.1.2 变压器 故障 诊断 系统 相关 背景 


故 麻 诊 断 (FD.Fault Diagnosis) 始 于 机 械 设 备 故 障 诊断 ， 现 代 设备 技术 水 平和 复杂 度 不 
断 提高 ,设备 故障 对 后 产 的 影响 也 显著 增加 ,因此 要 保证 设备 可 靠 .有 效 地 运行 ,充分 发 挥 其 效 
益 , 必 须发 展 故 障 诊断 技术 。 故 障 诊断 技术 借助 于 现代 测试 ,监控 和 计算 机 分 析 等 手段 , 侠 究 
设备 在 运行 中 或 相对 静止 条 件 上 的 状态 信息 ,分 析 设 备 的 技术 状态 ,诊断 其 故障 的 性 质 和 起 
因 , 并 预测 族 障 趋势 ,进而 确定 必 瞻 的 对 策 。 利 用 故障 诊断 技术 可 以 嘻 发 现 故障 征兆 和 原 内 ， 
有 利于 及 早 排 除 故 障 和 安全 隐患 ,避免 不 必要 的 损失 ,因而 具有 很 高 的 经 济 和 社会 效益 。 

运行 中 的 灾 庄 器 发 生 不 问 程度 的 故障 时 ,会 产生 异常 现象 或 信息 ， 上 故障 分 析 就 是 搜集 变 
此 器 的 东 常 现象 或 信息 ,根据 这 些 岗 象 或 信息 进行 分 析 , 从 而 判断 故障 的 类 型 . 严 
障 部 位 。 因 此 , 变 斥 器 故障 诊断 的 月 的 首先 是 准确 判断 运行 设备 当前 处 于 正 党 
状态 。 澡 变 盯 器 处 于 异常 状态 有 故障 , 则 判断 故障 的 性 质 、 类 型 和 原因 。 例 如 是 绝缘 故障 、 过 
热 族 入 还 是 机 械 故 障 ; 若 是 绝缘 故障 , 则 是 绝缘 老化 .受潮 ,还 是 放电 性 故障 :若是 放电 性 改 障 
义 是 哪 种 类 型 的 放电 等 。 变 庄 器 故障 诊断 还 蜂 根 据 故 障 信息 或 根据 信息 处 理 结果 ,预测 故障 
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的 叮 能 发 展 即 对 故障 的 严重 程度 ,发 展 趋势 做 出 诊断 ;提出 控制 故障 的 措施 ,防止 和 消除 故障 ; 
提出 设备 维修 的 合理 方法 和 相应 的 反 事 故 措施 ;对 设备 的 设计 ,制造 .装配 等 提出 改进 意见 ,为 
设备 现代 化 管理 提供 科学 依据 和 建议 。 

对 变压器 油 中 洲 解 气体 分 析 是 变压器 内 部 故障 诊断 的 重要 手段 。 我 国 当 前 大 量 应 用 的 是 
改 戎 :比值 法 ,但 利用 三 比值 法 作为 灾 床 器 故障 诊断 的 判 据 存在 两 方面 的 不 足 , 即 所 谓 编 码 缺 
损 和 临界 值 判 据 缺 损 。 人 . 工 神经 网 络 以 其 分 布 式 并 行 处 理 , 自 适应 ,自学 半 、 联 想 记忆 以 及 划 
线性 映射 等 优点 ,为 解决 这 一 问题 开 笨 了 新 途径 。 当 前 变压器 故障 诊断 系统 大 多 数 都 是 采用 . 
BP 网 络 模型 ,但 出 于 BP 网 络 自身 结构 的 特点 ,在 训练 样本 较 大 贡 要 求 精度 较 高 时 ,网 络 常常 
不 收敛 日 容易 隐 入 局 部 最 优 。 


19.2 模型 建立 


车 
和 任何 神经 网 络 建 模 中 ,选取 的 输入 特征 向 量 , 必 须 能 够 正确 地 反映 问题 的 特征 。 如 果 所 基 
党 | 于 的 故障 特征 没有 包括 足够 的 待 识别 信息 或 本 能 提取 反映 故障 特征 的 信息 , 则 诊断 结果 往往 
记 | 会 受到 很 大 的 影响 。 油 中 溶解 气体 分 析 方 法 能 很 好 地 反映 变压器 的 潜伏 性 故障 , 且 在 各 种 诊 
有 | 断 方 法 中 以 改良 三 比值 法 的 判断 准 抱 闪 最 高 ,所 以 选 拌 油 中 溢 解 气体 合 景 的 二 对 比值 作为 神 
每 | 经 网 络 的 输入 特征 向 量 , 而 输出 特征 向 量 则 选用 变压器 的 故障 类 型 。 
机 在 此 思路 的 基础 上 ,经 过 以 下 几 个 步 呈 设 计 PNN 网 络 模型， 
收集 数据 加 四 本 
流程 图 如 网 19 - 2 所 未 。 
创建 PNNI 络 概 六 神经 网 络 结构 简单 、 训 练 简洁 ,利用 概率 神经 网 络 模 境 
的 蝇 大 的 医 线 性 分 类 能 力 , 将 故障 样本 空间 映射 到 故障 模式 室 间 
和 中 ,9 形成 -个 其 有 较 吝 容错 能 力 和 结构 自 适应 能 力 的 诊断 网 络 
T 系统 ,从 而 提高 故障 诊断 的 准确 率 。 本 案例 在 对 油 中 溶解 气体 分 
网 络 效果 测试 析 法 进行 深入 分 析 后 ,以 改良 三 比值 法 为 基础 ,建立 基于 概率 神 
i 经 网 络 的 故障 诊断 模型 。 案 例 数据 中 的 data. mat 是 33X4 维 的 


第 阵 , 前 3 询 为 改 只 -= 比值 法 数值 ,第 4 列 为 分 类 的 输出 ,也 就 是 
19 -2 PNN 网 络 设计 流程 故障 的 类 别 。 使 用 前 23 个 样本 作为 PNN 神经 网 络 训练 样本 ,后 
10 个 样本 作为 验证 样 本 。 


19.3 MATLAB 实 坑 
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PNN 的 创建 晃 数 
newpnnf ) 
该 晒 数 用 于 创建 概 府 神经 网 络 。 概 率 神经 网 络 是 一 种 适用 于 分 类 问题 的 径 向 基 网 络 , 其 
调用 格式 为 ; 


net = newpnn(P,T, SPREAD) 


各 参数 会 义 请 参见 newrb。( 案 例 ?7:RBF 网 络 的 回 时 一 非 线性 函数 回归 的 实现 ) 
MATLAB 实现 代码 如 下 : 
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mioved enon en 
名 清空 环境 人 最 

clcy 

clear all 

close all 

rntwarn off; 

warning off; 

% 4 数据 载 信 

load data 

% % 移 取 训练 数据 和 测试 数据 


Train= data(1:23，:) 
Test = data(24:end,:)i 
P_train = Train :1:3)9 


ttrain= Trainf 
p_test = Test(; 
t_ test= Test(, ,4)"; 


和 将 期 望 类 别 转换 为 向 量 

ttrain= ind2vec(t_train); 

t_train temp= Train(: 434 

上 % 使 用 newpnn 函数 建立 PRN SPREAD 选取 为 1.5 
Spread = 1.54 

net = newpnn(p_train,t_train, Spread) 


畴 言 认 寺 时 号 车 尘 济 潭 


$ 4 洲 练 数据 回 代 查看 网 络 的 分 类 效果 


Sin 函数 进行 网 络 预测 
Y= sin(net,p train); 
% 将 网 络 输 出 向 最 转换 为 指针 


Ye=vec2ind(?)5 


入 人 通 过 作 图 观察 网 络 对 训练 数据 分 类 效果 
figure(1) 
subplot(1,2,1) 
stem(1:1length(Yc), Yc, bo') 
hold on 
sten(1;length(Yc),t train tenp,'r*') 
title( PNN 网 络 训练 后 的 效果 》 
xlabel( 样 本 编导 7 
Yabel( 分 类 结果 ) 

' set(gca, Ytick ',[1;5]) 
subplot(1,2,2) 
H=Yc-t train tenpy 
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sten(H) 
titleC PRN 网 络 训练 后 的 误差 图 ) 
xlabel( 样 本 编号 


% % 网 络 预测 未 知 数据 效果 
了 2 = sim(net,p_test); 

Y2c = vec2ind{ Y2) 

figure(2) 

stem(1 :length(Y2c) ,Y2c，b 
hold on 
stem(1:length(Y2c),t_test, r*') 
title(' PNN 网 络 的 预测 效果 ? 
xlabel( 预测 样本 编号 7 
Yiabel{( 分 类 结果 ) 

set(gca,' Ytick',[1:5]) 


程序 运行 的 结果 ,如 网 19 -3 网 19-4 所 天 。 


PNN 网 络 训 练 后 的 效果 
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0 
样 卡 编号 


图 19-3 训 


由 图 19-3 和 图 19 -4 可见, 在 训 


30 3 10 20 30 


作 相 编号 


练 后 训练 数据 网 络 的 分 类 效果 力 


练 后 


将 训练 数据 做 为 输入 代入 已 经 测 练 好 的 PNN 网 


络 中 ,具有 岗 个 样本 判断 错误 ,并且 用 预测 样 不 进行 验 计 时 候 , 也 只 有 两 个 样本 即 两 种 变 讨 器 
的 故障 类 型 判断 错误 。 最 后 得 到 的 PNN 网 络 可 以 用 来 进行 更 多 样本 的 预测 。 
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PNN 网 络 的 的 测 效 果 
5 机 


4 
: | 
2 

5 6 了 8 9 10 


1 2 3 4 
及 测 样本 编 季 


分 类 结果 


上 


图 19 -4 预测 数据 网 络 的 分 类 效果 图 


19.4 染 例 扩展 


1. PNN 与 BP 网 络 相 比 , 在 以 下 几 方 面具 有 阴 显 的 优势 

中 PNN 过 程 简单 , 收 伍 速度 快 。BP 网 络 的 输入 输出 和 PNN 相同 ,但 共 隐 藏 层 单元 的 选 
最 没 有 确定 性 法 则 ,再 槛 根据 经 验 友 复 试 算得 到 。 而 PNN 需 调 闻 数 少 ,不 需 确 定 隐藏 央 
数 , 有 隐藏 层 中 的 神经 元 个 数 等 网 络 结 构 , 比 较 容 易 使 用 。BT 网 络 的 学 习 算 法 收 伍 速 度 慢 , 而 及 
易 隐 人 局 部 坡 优 位。PNN 的 训练 步 到 位 ,训练 样本 可 直接 赋值 给 网 络 , 共 训 练 时 癌 仪 
仅 略 大 于 数据 读 取 的 时 间 , 且 不 存在 局 部 城 优 值 。 

包 PNN 网 络 总 收 和 化 于 Baycs 优化 解 ， 高 。BP 网 络 的 分 类 规则 是 没有 确定 解释 
的 ,缺乏 透明 度 。PNN 是 基于 贝 叶 斯 最 小 风险 准则 对 对 象 进行 分 类 的 ,可 以 最 大 限度 地 利用 
故障 先 驻 知识 ,无论 分 类 问题 多 么 复杂 ,只 时 有 足够 多 的 训练 样本 , 概 认 神 经 网 络 能 够 保证 获 
得 贝 叶 斯 准则 下 的 最 优 解 ,而 BP 神经 网 络 却 可 能 在 一 个 局 部 最 优 值 处 中 断 , 无 法 保证 得 到 - 
个 全 局 最 优 值 。 

加 样本 的 追加 能 力 强 ,及 可 以 容忍 个 别 错误 的 样 本 。 旭 果 在 故障 涂 断 过 程 中 有 新 的 训练 


样 涉 加 入 或 需要 除去 基 些 旧 的 训练 样本 ,PNN 只 错 增 加 或 减少 相应 的 模式 屋 单 元 ,新 增 如 的 
和 输入 民 至 模式 居 的 连接 权 值 只 走 将 新 样本 直接 赋值 。 而 对 于 BP 网 络 修 改 训 练 样本 后 则 需 寅 


重新 进行 训练 ,网 络 的 连接 权 值 全 部 需 归 重新 赋值 ,相当 于 重新 娃 空 丈 个 网 络 。 
在 实际 应 用 中 :需要 建立 变 放 器 故障 样本 库 , 其 内 容 会 随 善 变压器 故障 的 增 如 、. 灾 化 而 产 


牛 变化 ,此 时 PNN 网 络 的 样本 追加 能 力 强 的 优越 性 就 可 得 色 充 分 的 体现 。 综 上 所 述 ,PNN 变 
压 器 故障 诊断 系统 在 诊断 速度 `. 追 如 样本 的 能 力 以 及 在 实际 应用 中 的 诊断 准确 举 等 儿 方面 的 
性 能 者 楼 优 于 BP 变 讨 器 故障 诊断 系统 。 

2. SPREAD 的 作用 

如 果 SPREAD 值 接近 于 0, 则 创 奸 的 概率 神经 网 络 可 以 作为 “个 最 近邻 咸 分 类 器 ， 随 阁 
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凑合 认 训 答 可 雪 守 半 障 座 


VTLY 潮 附 证 襄 滞 渤 闪 六 芝 
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i 汰 宣 永 震 归 互 节 怀 过 济 曝 


VTLY 人 内 祁 出 中 六 六路 亲 流 关 导 


witave Neriob.en 
SPRFAD 的 增 大 ,需要 更 多 地 考虑 该 网 络 附近 的 设计 向 晶 。 上 只 体 请 参看 7. 4. 2 中 关于 
SPREAD 的 讨论 。 
3. 其 他 需 村 注意 的 问题 
PNN 模型 故障 特征 的 选择 要 使 得 故障 特征 样本 包含 最 大 故障 信息 晤 ,因此 寓 深 入 分 析 故 
障 产 牛 机 翰 及 故障 信息 传递 关系 ,选择 最 能 反映 故障 的 特征 蘑 , 对 一 些 巨 关 或 关系 较 小 的 故障 
特征 量 鼎 不 予 状 虑 ,以 保 让 生成 的 PNN 规模 最 小 。 
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第 20 章 神经 网 络 变量 筛选 
一 一 基于 BP 的 神经 网 络 变量 筛选 


20.1 过 例 背景 


前 面 各 个 章节 讨论 的 神经 网 络 中 所 包含 的 网 络 输入 数据 是 研究 形 和 根 据 专业 知识 和 经 验 顶 
先 选择 好 的 ,然而 在 许多 实际 应 用 中 ,由 十 没有 清晰 的 理论 依据 ,神经 网 络 所 包含 的 由 变 景 即 
网 络 给 入 特征 难以 预先 确定 ,如 果 将 一 些 不 重要 的 自 变 量 也 引入 神经 网 络 ,会 降低 械 型 的 精 
度 , 因 此 选择 有 意义 的 自 变 量 特 征 作为 网 络 输 入 数据 常常 是 应 用 神经 网 络 分 析 预 测 癌 题 中 很 
关键 一 步 。 选 择 昼 经 网 络 输 和 人 的 方法 有 多 种 ,其 基本 吕 路 是 : 尽 可 能 将 作用 效果 显 善 的 目 变 最 
选 人 神经 网 络 模型 中 ,将 作用 不 显著 的 自 变 虽 排 除 在 外 。 本 例 将 结合 BP 神经 网 络 应 用 平均 
影响 值 (MIVY,Mean Impact Value} 方 法 来 说 明 如 何 使 用 神经 网 络 来 痒 选 变量 ,找到 对 结果 有 
较 大 影响 的 输入 项 ,继而 实现 使 用 神经 网 络 进行 变量 竹 选 。 

BPCback propagation) 神 经 网 络 是 种 神经 网 络 学 习 算法 ,全 称 基 于 误 头 反 向 传播 算法 
的 人 虐 神经 网 络 。 如 图 20 - 1 所 示 单 隐藏 县 前 锁 网 络 拓扑 结构 - 朋 称 为 三 层 前 馈 网 或 三 层 
感知 器 , 基 : 输 和 人 层 、 中 问 层 (也 称 隐藏 层 ) 和 输出 层 。 输入 层 各 神经 元 负责 接收 来 目 外 界 的 输 
人 信息 ,并 传递 给 中 间 层 各 神经 元 ;中 间 层 是 内 部 信息 处 理 屋 , 中 间 层 可 以 没 计 为 单 隐 层 或 者 
多 隐 层 结构 ;最 后 一 个 隐 层 传递 到 输出 届 各 神经 元 的 信息 ,经 进一步 处 理 后 ,完成 一 次 学 习 的 
上 向 传播 处 理 过 程 ,由 输出 屋 向 外 漠 输 出 信息 处 理 结果 。 它 的 特点 是 ;各 忆 神 经 光 仅 与 相 邻 层 
神经 区 之 问 相 艺 全 连接 , 同 层 内 神经 元 之 问 光 连接 ,各 记 神 经 元 之 问 雹 反馈 连接 ,构成 具有 层 
次 结构 的 前 馈 型 神经 网 络 系统 。 单 层 前 镇 神经 网 络 只 能 求解 线性 可 分 问题 ,能 够 求解 非 线性 
问题 的 网 络 必须 是 具有 隐 屋 的 多 层 神经 网 络 。 当 实际 输出 与 期 望 输出 不 符 时 ,进入 误差 的 反 
向 传播 阶段 。 误 差 通 过 输出 层 , 按 误 凑 梯度 下 降 的 方式 修正 各 层 权 信 , 疝 隐 屋 .输入 层 之 层 反 
传 。 周而复始 的 信息 正 向 传播 和 误 关 反 向 传播 过 程 ,是 各 民权 值 不 断 调整 的 过 程 , 也 是 神经 网 
络 学 习 训 练 的 过 程 ,此 过 程 一 直 进行 到 网 络 输出 的 误差 减少 到 可 以 接受 的 程度 ,或 者 参 先 设 定 
的 学 习 次 数 为 止 。 

Dombi 等 人 提出 用 MIV 米 反映 神经 网 络 中 权重 第 阵 的 变化 情况 ,MIV 被 认为 是 在 神经 
网 络 中 评价 变量 相关 性 最 好 的 指标 之 一 ,也 为 解决 此 类 问题 开创 了 新 恩 路 。 因 此 探索 此 类 型 
的 评价 指标 在 实际 工作 中 的 运用 以 及 叶 找 新 的 评价 指标 是 值得 研究 的 课题 。 

本 例 选择 MIV 作为 评价 各 个 月 变 其 对 于 内 变 旺 影响 的 重要 性 大 小 指标 。MIV 是 几 于 确 
定 得 人 神经 元 对 输出 神经 元 影响 大 小 的 一 个 指标 ,其 符 续 代表 相关 的 方向 ,绝对 值 大 小 代表 影 
响 的 相对 重要 性 。 具 体 计算 过 程 :在 网 络 训练 终止 后 ,将 训练 样本 P 中 每 - 自 变量 特征 在 其 
原 值 的 基础 上 分 别 加 / 减 10% 构 成 新 的 两 个 训练 样本 P, 和 P; ,将 P 和 P, 分 别 作为 仿真 衬 
本 利用 已 建成 的 网 络 进行 仿真 ,得 到 两 个 仿真 结果 A， 和 As , 求 出 A 和 As 的 差 值 , 即 为 变动 
该 自 变 量 后 对 输出 产生 的 影响 变化 值 CIV,Impast Value) ,最 后 将 TV 按 观 测 例 数 平 均 得 出 该 
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输入 层 隐 合 屋 输出 层 


图 20-1 BP 神经 网 络 结 构 
自 变 基 对 于 应 变量 -- 网 络 输 出 的 MIV。 按 照 上 面 步骤 依次 算出 各 个 自 变量 的 MIV 值 ,最 
后 根据 MIV 绝对 值 的 大 小 为 各 自 变 最 排序 ,得 到 各 自 变 芋 对 网 络 和 输出 影响 相对 重要 性 的 位 次 
表 , 从 而 判断 出 输入 特征 对 于 网 络 结果 的 丸 响 程度 , 即 实现 了 变 刀 筛选 。 


20.2 模型 建立 
本 例 按 照 式 20 -1 产 牛 网 络 的 训练 数据 。 
F=20+xi—10cos(2rr) + 7 ~ l0cos(2mr:) (20 -1) 


随机 产生 的 zx 和 x。 和 由 它们 决定 的 下 作为 BP 神经 网 络 的 训练 样本 ,同时 加 入 x x， 
噪声 ,通过 MIV 方法 ,筛选 对 网 络 结果 有 主要 影响 的 变量 。 流 程 如 图 20 - 2 所 示 。 


变 呈 蔽 选 MIY 算 法 的 初步 实现 ( 增 吕 或 各 减少 片 变 总 ) 


使 用 原始 数据 训练 一 个 止 确 的 神经 网 络 


蛮 呈 路 选 MIY 算 法 的 后 续 实现 { 茶 值 计算 } 


计算 各 个 项 网 络 输出 的 MIV 值 


图 20-2 基于 BP 神经 网 络 的 变量 第 选 流程 图 


20.3 MATLAB 实 规 


本 例 程序 如 下 。 
年 清空 环境 变量 


cle 
Slear 


% % 产生 输入 输出 数据 


多 设置 步 长 


第 20 章 神经 网 络 变量 铺 选 -- 一 基于 BP 的 神经 网 络 变量 区 克 yy 


interval = 0.01; 


多 产生 xl x2 
xl= -1.5:interval:1.54 
x2= “1.5:interval:1.55 


% 产生 x3 x4( 唤 声 ) 
x= rand(1,301); 

x3= (x-0.5) 1.5*2 
x4= (x- 0.5) #1.5x2, 


s$ 按照 画 数 先 求 得 相应 的 函数 值 ,作为 网 络 的 输出 
F =20+xl.°2~10*cos(2# pin xl) +x2.°2— 10 x cos(2 x pi x2)s 


s% 设置 网 络 输入 输出 值 


p= [xl;x25x3ixd]; 
t=F; 


名 钙 变量 筛选 HIV 算法 的 初步 实现 (增加 或 者 减少 自 变 量 } 


p=p's 
[m,n) = size(p); 
了 -tenp= p: 


$ p_increase 为 增加 10 的 矩阵 p_decrease 为 减少 10# 的 矩阵 
for i= Lin 
p= yy.tenps 
PX= pl: ri) 
PR 1.1) 
PC: = pas 
aa=['p_increase' int2str(i)'=p"]y 


eval(aa); 


"p_decrease' int2str(i} "=p"] 
eval(aa)i 
end 
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%% 利用 原始 数据 训练 一 个 正确 的 神经 网 络 


nntwarn off; 


P=p's 

#% bp 网 络 建立 

Det = newff(minmax(p) ,[8,1],{ tansig', purelin'} ,' traingdm’'); 
% 初始 化 bp 网 络 

net = init(net); 

% 网 络 训练 参数 设置 

net. trainParan. show = 501 

net. trainParam lr = 0.05; 

net. trainParam. nc = 0.9; 


net. trainparam, epochs = 2000; 


上 bp 网 络 训练 


net = train(net,p,t) 1 


和 名 变 攻 筛选 HIV 算法 的 后 续 实现 ( 差 值 计算 》 
% 转 置 后 sin 


for i=1in 
eval{[' p_increase', num2str(i),'= transpose(p_increase',num2str (i) ,)"]) 


end 


for i= 1:n 
eval(['p_decrease',nun2str(i),'= transpose(p_decrease', nun2str{ i),)"]) 
end 


和 result_in 为 增加 10% 后 的 输出 result_de 为 减少 10# 后 的 输出 


for i= lin 
eval([ result_in',num2str(i),'= sim(net,',' p_increase', num2gtr(1i) ,)"]) 


end 


for i=1:n 
eval([ result_de',num2str(i) ,= sim(net,','p._decrease', nun2str(i),)"]) 


end 
for i=1:n 
eval([ result_in',nun2str(i),'= transpose(result_in’,num2str{1) ,)"]) 


end 


for i=1:n 
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eval(T result_de',num2str(i),'= transpose( result._de',nun2str(1) ,)"]) 


end 


4% $ MIV_n 的 值 为 各 个 项 网 络 输 出 的 MTV 值 TY 被 认为 是 在 神经 网 络 中 评价 变量 相关 的 最 好 指标 之 
一 ,其 符号 代表 相关 的 方向 ,绝对 值 大 小 代表 影响 的 相对 重要 性 ， 


for i=1:n 
TVs 了 result in',num2str(i), '— reault_de',nun2str(i)]; 
eval([ MIV_ "nom2str(i) ,< mean(’,IV,)")) 


end 


本 例 的 结果 为 。 


MIV 1 = 


1.2553 
MIY_2 = 


1.2896 
MIV_3 = 


0.0685 
NIV_4 = 


-0.7430 


MIV_n 的 值 为 各 项 网 络 和 输出 的 MIV 值 ,MIV 被 认为 是 在 神经 网 络 应 用 中 评价 变量 对 结 
果 影响 大 小 的 最 好 指标 之 一 ,其 符号 代表 相关 的 方向 ,绝对 值 大 小 代表 影响 的 相对 重要 性 。 

由 此 可 见 : 第 一 二 个 变量 得 测 的 MIV 估 较 大 ;因为 值 是 靠 zi ,x; 计 算出 来 的 ,1 zi、z， 
无 关 , 所 以 MIV 筛选 出 的 对 结果 有 重要 影响 的 挤 变 基 同 真实 俏 况 一 致 。 神 经 网 络 使 用 MIV 
方法 对 变量 进行 第 选 是 可 行 的 。 


20.4 案例 扩展 


使 用 MIV 方法 进行 变量 短 选 再 要 注意 以 下 一 些 问题 。 神 经 网 络 模型 本 身 可 以 应 用 于 多 
重 具 线性 的 数据 ,所 谓 多 重 共 线性 (multicollinearity) 是 指 回归 模 出 中 的 髓 变 景 之 间 由 于 存在 
精确 相关 关系 或 高 度 相关 关系 而 使 模型 估计 失真 或 难以 估计 准 靖 。 为 了 网 络 的 训练 效果 更 
住 ,使 用 了 MIV 算法 米 寻 找 对 结果 影响 大 的 变量 。 不 只 是 BP 神经 网 络 ,其 他 很 多 神经 外 网 
络 在 进行 拟 合 、 回 归 、 分 类 的 条 件 下 ,都 可 以 应 用 MIV 方法 进行 变量 筛选 并 且 建 立 自 安 量 更 
少 .效果 更 好 的 神经 网 络 模 型 。 
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21.1 案例 管 时 


21.1.1 LVQ 神经 网 络 概述 


学 习 向 量 量化 LLVQ,Learning Vector Quantizarion) 神 经 网 络 是 -种 用 于 训练 竞争 层 的 
有 监督 学 习 (supervised learning) 方 法 的 输入 前 向 神经 网 络 ,其 算法 是 从 Kohonen 竞争 算法 演 
化 而 来 的 。LVQ 神经 网 络 在 模式 识别 和 优化 领域 有 着 广泛 的 应 用 。 

1, LYQ 神经 网 络 的 结构 

LVQ 神经 网 络 由 3 层 神经 元 组 成 , 即 输入 层 , 竞 争 层 和 线性 输出 层 , 如 图 21 ~ 1 所 示 。 输 
人 层 与 竞争 层 之 问 采用 全 连接 的 方式 ,竞争 层 与 线性 输出 层 之 间 采 用 部 分 连接 的 方式 。 竞争 
层 神 经 元 个 数 总 是 大 于 线性 输出 层 神 经 苑 个 数 , 每 个 竞争 层 神 经 元 只 与 一 个 线性 输出 层 神经 
元 相连 接骨 连接 权 值 恒 为 1。 但 是 ,每 个 线性 输出 层 神经 元 可 以 与 多 个 竞争 居 神 经 元 机 连接 。 
竞争 层 昼 经 元 与 线性 输出 层 昼 经 元 的 值 只 能 是 1 或 0。 当 某 个 输入 模式 被 送 圣 网 络 时 ,与 输 
人 模式 距离 最 近 的 竞争 层 神经 元 被 激活 ,神经 汇 的 状态 为 "1”, 调 其 他 竞争 居 昼 经 元 的 状态 均 
为 “0”。 亲 此 ,与 被 激活 神经 元 相连 接 的 线性 输出 层 神经 元 状态 也 为 "1”, 耐 其 他 线性 输出 层 神 
经 元 的 状态 均 为 “0”。 

图 21-1 中 ,p 为 R 维 的 输入 模式 ;S' 为 竞争 层 神经 元 个 数 ;TW ”为 输入 层 .竞争 层 之 
间 的 连接 权 系 数 年 阵 ;ma 为 竞争 层 神经 元 的 输入 ia! 为 竞争 层 神 经 亢 的 输出 :LY ”为 竞争 民 
与 线性 输出 县 之 问 的 连接 权 系数 矩阵 ;zz 为 线性 输出 屋 神 经 元 的 输入 ;a 为 线性 输出 层 神 经 
元 的 输出 。 

2. LVQ 神经 网 络 的 学 习 算 法 

LVQ 神经 网 络 算法 是 在 有 教师 状态 下 对 竞争 层 进行 训练 的 一 种 学 习 算法 ,因此 1.VQ 算 
法 可 以 认为 是 把 自 组 织 特 征 映射 算法 改良 成 有 教师 学 习 的 算法 。LVQ 经 网 络 算法 可 分 为 
LVQ1 算 法 和 LVQ2 算法 两 种。 

(1) LVQ1 算法 

商量 量化 是 利用 输入 疝 量 的 固有 结构 进行 数据 压缩 的 技术 ,学 习 疝 晤 重 化 是 在 向 晤 革 化 
基础 上 能 将 输入 向 量 分 类 的 监督 学 习 技术 。Kobonen 把 自 组 织 特征 映射 算法 改 良 成 有 教师 
学 习 算 法 ,首先 设计 了 LVQI1 算法 。LVQL1 的 训练 过 程 开 始 于 随机 地 自 * 标定 "训练 集合 选择 
一 个 输入 向 量 以 及 该 向 量 的 正确 类 别 。 

LVQ1 算法 的 基本 思想 是 :计算 距离 输入 向 量 最 近 的 竞争 居 昼 经 元 ,从 而 找到 与 之 相连 接 
的 线性 输出 县 神经 元 ,车 输 和 向量 的 类 别 与 线性 输出 层 神 经 元 所 对 应 的 类 别 一 致 , 则 对 应 的 部 
争 层 神经 元 权 值 沿 着 输入 向 世 的 方向 移动 ;反之 , 阁 岗 者 的 类 别 不 - 笋 , 则 对 应 的 竞争 层 神经 
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图 21-1 学 习 向 量 量化 网 络 
元 权 俏 洛 着 输入 向 量 的 反方 向 移动 。 基 本 的 LVQI1 算法 步骤 为 ， 
步骤 1: 初 始 化 输入 层 与 竞争 层 之 问 的 权 值 w, 及 学 习 率 p(y>0) 。 
步 名 2: 将 输入 向 量 x 王 (zi,7s,… ,zn)" 送 人 到 输入 层 , 并 根据 式 (21 - 1) 计算 竞争 层 神 
经 元 与 输入 向 量 的 距 座 ， 


和 
ae i= 1,2,,S! 21-1) 


式 中 ,wi 为 输入 层 的 神经 元 j 与 竞争 层 的 神经 元 i 之 问 的 权 值 。 

步 巡 3: 选 择 与 输入 向 量 距 离 最 小 的 竟 争 层 神经 元 , 若 d; 最 小 , 则 记 与 之 连接 的 线性 输出 
层 神经 元 的 类 标签 为 Ci 。 

步骤 4: 记 输入 向 基 对 应 的 类 标 管 为 C, ,车 C,=C,, 则 根据 式 (21 2) 调 整 权 值 ;否则 , 根 
据 式 (21 - 3) 进 行 权 值 更 新 : 
i (21 -2) 


ev = Wyo A — to ae) (21-3) 


(2) LVQ2 算法 

在 LVQI 算法 中 ,只 有 一 个 神经 元 可 以 装 胜 , 即 只 有 一 个 神经 元 的 权 值 可 以 得 到 更 新 调 
整 。 为 了 提高 分 类 的 正确 率 ,Kohonen 改进 了 LVQ1, 并 且 被 称 为 新 版 本 LVQ2。LVQ? 算法 
基于 光滑 的 移动 决策 边 罩 下 近 Bayes 极限 。LVQ2 版 本 接着 被 修改 ,产生 LVQ2. 1, 并 且 最 终 
发 展 为 LVQ3。 这 些 后 来 的 LVQ 版 本 共同 具有 的 特点 是 引入 了 “次 获胜 "神经 元 ,获胜 神经 
元 的 权 值 向 量 和 “次 获胜 "神经 元 的 权 值 向 景 都 被 更 新 。 具 体 计算 步骤 如 下 ， 

步骤 1: 利 用 LVQI1 算法 对 所 有 输入 模式 进行 学 习 。 

步骤 2: 将 输入 向 量 x 二 (zi ,zs，… ,zn)" 送 入 到 输入 居 , 并 根据 式 (21 - 1) 计 算 竞 争 居 与 
输入 向 量 的 中 离 。 

步骤 3: 选 择 与 输入 向 晤 距离 最 小 的 两 个 竞争 层 神经 元 ij。 

步 怠 4: 如果 神经 元 i 和 神经 元 j 满足 以 下 两 个 条 件 ; 

@ 神经 元 i 和 神经 元 j 对 应 于 不 同 的 类 别 ; 

@ 神经 元 和 神经 元 7 与 当前 输入 向 量 的 距离 d, 和 di 满足 式 (21 - 4) : 
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六 洁 罕 刘 输 可 六 写生 院 认 


-下 


“就 尘 邮 鹤 灿 入 由 生 共 HYTIV 风 部 隐 机 洲 举 路 诗 汶 天 可 


1> (21 -4) 


min| dd 
‘a 


其 中 ,p 为 输入 向 最 可能 落 进 的 接近 于 两 个 向 量 
则 有 

加 若 神 经 元 i 对 应 的 类 则 C, 与 输入 向 晤 对 应 的 类 别 C， - 收 , 即 二 C;, 则 神经 元 i 和 神 
经 元 i 的 权 值 根据 式 (21 - 5) 进 行 修正 。 


字 ]> 
中 层 平 面 的 窗口 宽度 ,一 般 取 273 左 厂 。 


2 十 az 一 ap 

(21-5) 

a) 

加 车 神经 元 了 对 应 的 类 别 C， 与 输入 问 基 对 应 的 类 别 C， - 致 , 即 C, 一 C-, 则 神经 元 
神经 元 ;的 权 值 根据 式 (21 - 6) 进 行 修正 。 

Ww = wae 

(21-6) 


ae = we alr — 

步骤 5: 若 神经 元 i 和 神经 元 7 不 满足 步 又 4 中 的 条 件 , 则 只 定 新 中 离 输 入 向 其 城 近 的 神 
经 元 权 值 ,更 新 公式 号 LVQ1 算法 中 步骤 4 相同 。 

3, LYQ 神经 网 络 特点 

竞争 层 神 经 网 络 可 以 自动 学 习 对 输 人 向 量 模式 的 分 类 ,但 是 竞争 层 进行 的 分 类 只 取决 于 
输入 向 量 之 间 的 距离 , 当 两 个 输入 向 量 非 常 接近 时 ,竞争 层 就 可 能 将 它们 归 为 一 类 。 在 竞争 局 
的 设计 中 没有 这 样 的 机 制 , 即 严格 地 判断 任意 的 两 个 输 和 向量 是 属于 同一 类 还 是 届 于 不 同类 。 
而 对 于 LVQ 网 络 用 户 指定 日 标 分 类 结果 ,网 络 可 以 通过 监督 学 习 完 成 对 输入 向 基 模 式 的 准 
确 分 类 。 

与 其 他 模式 识别 和 映射 方式 相 比 ,LVQ 神经 网 络 优点 在 于 网 络 结构 简单 ,只 道 过 内 部 单 
元 的 相互 作用 就 可 以 完成 十 分 复杂 的 分 类 处 理 , 也 很 容易 将 设计 域 中 的 各 种 繁杂 分 散 的 设计 
条 件 收敛 到 结论 上 来 。 而 且 它 不 对 输 和 向量 进 行 归 --- 化 、 正 交 化 处 理 , 只 需要 直接 计算 输 
人 向 量 与 竞争 层 之 问 的 距离 ,从 而 实现 借 式 识别 ,因此 简单 易 行 。 


21.1.2 乳腺 肿瘤 诊断 概述 


目前 ,乳腺 瘤 忆 成 为 世界 上 妇女 发 病 率 最 高 的 痛 症 。 近 年 来 在 中 国 , 尤 其 在 相对 比较 发 达 
的 东部 地 区 ,乳腺 冯 的 发 病 率 及 死亡 率 呈 明 显 的 增长 趋势 。 研 究 表明 ,乳腺 恶性 肿瘤 匣 能 早期 
发 现 , 早 期 诊断 .早期 治疗 ,可 取得 良好 的 效果 。 过 去 的 20 年 时, 人 们 存 分 析 和 诊断 各 种 乳腺 
肿瘤 方面 发 现 了 很 多 方法 ,尤其 是 针对 乳 腺 图 像 的 分 析 已 日 赵 成熟。 医学 研究 发 现 ,乳腺 和 肿 瘙 
病灶 组 织 的 细胞 核 焉 微 图 像 与 正常 组 织 的 细胞 核 显 微 图 像 不 同 , 但 是 用 一 般 的 图 像 处 理 方法 
很 难 对 其 进行 区 分 。 因 此 ,运用 科学 的 方法 ,根据 乳腺 肿瘤 病灶 组 织 的 细胞 核 显 微 图 像 对 乳腺 
肿瘤 属于 良 忻 或 恶性 进行 诊断 显得 尤为 重要 。 


21.1,3 问题 描述 


威斯康星 大 学 医学 院 经 过 多 年 的 收集 和 整理 ,建立 了 一 个 乳腺 肿瘤 病灶 组 织 的 细胞 核 显 
微 图 像 数 据 库 。 数 据 库 中 包含 了 细胞 核 图 像 的 10 个 量化 特征 (细胞 核 半径 、 质 地 、 周 长 \ 面 积 、 
光滑 性 、 紧 密度 、 叫 陷 度 、 媚 陷 点 数 、 对 称 度 、 断 裂 度 ) ,这 些 特征 与 肿瘤 的 性 质 有 密切 的 关系 。 
因此 ,需要 建立 一 个 确定 的 模型 来 描述 数据 库 中 各 个 量化 特征 与 肿瘤 性 质 的 关系 ,从 而 可 以 根 
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损 细 胞 核 显 微 图 像 的 量化 特征 诊断 乳腺 肿瘤 是 良性 还 是 恶性 。 


21.2 模型 建立 


21.2.1 设计 思路 


将 乳腺 肿 冶 病 灶 组 织 的 细胞 核 灵 微 图 像 的 10 个 其 化 特征 作为 网 络 的 输入 ,良性 乳 及 肿瘤 
利 恶性 乳腺 肿 痛 作为 网 络 的 输出 。 用 训练 集 数 据 对 设计 的 LVQ 神经 网 络 进 行 训练 ,然后 对 
测试 集 数据 进行 铀 试 并 对 测试 结 昌 进 行 分 析 。 

21.2.2 设计 步骤 

根据 上 述 设计 思路 ,设计 步骤 主要 包括 以 下 几 个 ,如 图 21 - 2 所 未。 


中 


结果 分 析 


数据 采集 *| 网 络 创 建 ?| 由 络 训练 站 | 网 络 仿真 


图 21-2 设计 步 桑 流程 图 

1. 数据 采集 

威 斯 康 尼 大 学 医学 院 的 乳腺 将 数据 集 共 包括 569 个 病例 ,其 中 ,良性 357 例 ,恶性 212 例 。 
本 书 随机 选取 500 组 数据 作为 训练 集 ,剩余 69 组 作为 测试 集 。 

每 个 病例 的 一 组 数据 包括 采样 组 织 中 各 继 胞 核 的 10 个 特征 量 的 平均 值 标准 差 和 最 坏 值 
(各 特征 的 3 个 最 大 数据 的 平均 值 ) 共 30 个 数据 。 数 据 文件 中 每 组 数据 共 分 32 个 字段 ,第 1 
个 字段 为 病例 编号 ;第 2 个 字段 为 确诊 结果 ,B 为 良性 ,M 为 唉 性 ;第 3~12 个 字段 是 该 病例 种 
瘤 病灶 组 织 的 各 细胞 核 显 微 图 像 的 10 个 其 化 特征 的 平均 值 ,第 13~22 个 字段 是 相应 的 标准 
其 ,第 23 一 32 个 字段 是 相应 的 最 坏 值 。 

2. 网 络 创建 

数据 采集 完成 后 ,利用 MATLAB 自 带 的 神经 网 络 工具 箱 咕 数 newlvq() 可 以 构 建 一 个 
LVQ 神经 网 络 , 肾 数 具体 用 法 将 在 21. 3 节 中 详细 介绍 。 

3. 网 络 训练 

网 络 创建 完毕 后 , 若 澳 要 ,还 可 以 对 神经 网 络 的 参数 进行 设置 和 修改 。 将 训练 集 500 个 病 
例 的 数据 输入 网 络 , 便 可 以 对 网 络 进行 训练 。 

4. 网 络 仿真 

网 络 通过 训练 后 ,将 测试 集 69 组 的 10 个 其 化 特征 数据 输入 网 络 , 便 可 以 得 到 对 应 的 输出 
《〈 即 分 类 ) 。 

$. 结果 分 析 

通过 对 网 络 仿真 结 困 的 分 析 , 可 以 得 到 误诊 率 ( 人 包括 良 性 被 误诊 为 芒 性 及 恶性 被 误诊 为 良 
性 》, 从 而 可 以 对 该 方法 的 可 行 性 进行 评价 。 同 时 ,可 以 与 共 他 方法 进行 比较 ,探讨 该 方法 的 有 
效 性 。 
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21.3 LVQ 网 络 的 神经 网 络 工 具 箱 邑 败 

MATLAB 的 神经 网 络 工 其 箱 为 LVQ 神经 网 络 提供 了 大 最 的 晒 数 工具 ,本 节 将 详细 介绍 
这 些 胃 数 的 功能 .调用 格式 和 注意 事项 等 问题 。 
21.3.1 LVQ 网 络 创建 函数 

newlvq() 郊 数 用 于 创建 个 学 习 问 量 基 化 LVQ 网 络 , 具 调用 格式 为 : 

net = newlvq(PR, SI,PC,LR,LF) 


其 中 ,PR 为 输入 向 量 的 范围 ,size(PR) 二 [R 2],R 为 输入 向 量 的 维 数 ;S1 为 竞争 层 冲 经 元 的 
个 数 ;PC 为 线性 输 击 证 期 望 类 别 各 自 所 占 的 比重 ;LR 为 学 染 ,默认 值 为 0.01;LF 为 学 习 
申 数 ,默认 为 "learnlv1” 


21.3.2 LVQ 网 络 举 习 函数 


1. LYQ1 学 习 算 法 
learnlvt 是 LVQ1 算法 对 应 的 权 值 学习 限 数 ,其 调用 格式 为 : 


TdW,LS] = learnivi(N,P, ZN,A,T,E, gH,gA,D,LP, LS) 


其 中 ,dW 为 权 什 (或 阔 值 ;变化 年 阵 ;LS 为 当前 学 习 状 态 (可 省 略 ); W 为 权 值 矩阵 或 考 是 冰 值 
矢量 ; 为 输入 矢量 或 前 是 企 为 1 的 矢量 ;Z 为 输 和 人民 的 权 值 矢量 (可 省 略 );N 为 网 络 的 输 人 
矢量 (可 省 略 );A 为 网 络 的 输出 矢 基 ;T 为 日 标 输 出 矢量 (可 省 略 );E 为 误差 和 失 量 (可 省 上 略 ); 
gW 为 与 性 能 相关 的 权 值 梯度 矩阵 (可 省 略 );gA 为 1j 性 能 相关 的 输出 梯度 矩阵 ;DD 为 神经 元 
的 距离 宙 阵 ;LP 为 学 习 参 数 , 默 认 值 为 0.011LS 为 初始 学 习 状 态 。 

2. LVQ2 学 习 算法 

learnlv2 是 LVQ2 算法 对 应 的 权 值 学 习 明 数 , 其 调用 格式 为 ， 


[dW,LS] = learnlv2(W.P,2,N,A,T.E, gH,gAD, LP,LS) 


其 参数 意义 4 learnlvl 中 的 参数 意义 相同 ,只 是 权 值 调整 的 方法 不 同 , 在 21. 1. 1 节 中 已 详细 
描述 ,此 处 不 竺 闽 述 。 


21.4 MATLAB 实现 
利用 MATLAB 神经 网 络 工具 箱 提 供 的 电 数 可 以 方 使 地 在 MATLAB 环境 下 实现 上 述 
步骤 。 
21.4.1 清 裤 环境 变量 
清除 工作 空间 (workspace) 中 的 变量 及 命令 窗 11(Ccomrmand window) 中 的 


程序 运行 之 有 
命令 。 有 具体 程序 为 ， 
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ss 清空 环境 变量 
clear all 
cle 


warning off 


21.4.2 导入 数据 


数据 保存 在 data. mat 文件 中 , 共 569 组 数据 ,不 失 般 性 ,随机 选取 500 组 数据 作为 训练 
集 ,剩余 69 组 数据 作为 测试 集 。 如 前 文 所 述 ,输入 神经 元 个 数 为 30, 分 别 代表 30 个 细胞 核 的 
形态 特征 。 笨 出 神经 元 个 数 为 2, 分 别 表 示 良 性 乳腺 肿瘤 和 恶性 乳腺 肿 冯 。 本 书 中 以 数字 "1” 
与 良性 乳腺 肿瘤 对 应 ,数字 "2 "与 恶性 乳腺 肿瘤 对 应 。 具 体 程序 如 下 ， 


名 第 导入 数据 

load data. mat 

a= randperm(569)s 

Train = data(a(l:500),:)» 
Test = data(a(501:end)，:)1 
和 训练 数据 


P_train = Train( ; ,3:end)'; 


Te_train= Train( :， 
T_train= ind2vec(Tc_train) 
和 % 测试 数据 

P_test = Test(; ,3.end)'; 
Tc_test = Test(,,2)'; 


说 明 :ind2vec(y 函 数 用 于 将 代表 类 别 的 下 标 逢 阵 转 换 成 对 应 的 日 杯 向 是 ,例如 ,在 命令 窗 
呆 T 输 入: 


c=[1010;0100;0001] 
flag = isequal(b,c) 


VIVA 六 也 市 襄 注 深 亲 沪 党. 本 次 言 衣 二 计 卫 灿 导演 溢 嘲 


运行 结果 为 : 

b= 
{1,1) 1 
(2,2) 1 
(1,3) 1 
(3,4) 1 


a 


/fiun 人 MATLAB 神经 网 络 30 个 案例 分 析 


源 宣 人 训 过 入 时节 末 吉 党 讲 


小生 六 呈 汉 - 


计 YTLY 内 寞 了 市 澡 内 
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从 运行 结果 可 以 看 出 , 行 向 最 a 经 过 ind2vecl) 子 数 转换 后 的 结果 和 矩阵 5 与 e 相等 。 
21.4.3 创建 LVQ 网 络 


利用 newlvq() 蚌 数 可 以 创建 LVQ 神经 网 络 , 将 隐 含 层 神经 元 个 数 设 为 20, 山 于 训练 集 
是 随机 产生 的 ,所 以 参数 PC 需 妆 事先 计算 一 下 。 共 体 的 程序 为 ; 

入 创建 网 络 

count B= length(find(Te train==1)); 

count M= length(find(Te_train== 2)); 

rate B= count_B/500; 

rate N= count_M/S00; 

net = newlvq(minmax(P._train),10,[rate_B rate_M}); 

多 设置 网 络 参数 

net, trainparan. epochs = 1000; 

net. trainParam. show = 101 

net, trainParam. lr = 0.11 


net. trainParam. goal = 0.11 


21.4.4 训练 LVQ 网 络 


网 络 创 建 完 成 及 相关 参数 设 资 完成 后 ,利用 MATLAB 自 带 的 网 络 训练 函数 train() 可 以 
方便 地 对 网 络 进行 训练 学 习 , 具 体 程序 为 : 
名 网 络 洲 练 


net = train(net,P train,T train); 


21.4.5 仿真 测试 


利用 sim() 蝴 数 将 测试 集 给 入 数据 送信 训练 好 的 神经 网 络 便 可 以 得 到 对 应 的 测试 集 输 出 
仿真 数据 ,详细 程序 如 下 : 

和 仿真 测试 

Tsin= sim(net,P test); 

Te_sim = vec2ind(T sin); 

result = [Te_sim;Te test]; 

说 阴 : 

中 vec2ind() 函 数 的 作用 与 ind2vec() 陶 数 的 作用 相反 ,将 日 标 向 量 转 换 为 对 应 的 代表 类 
别 的 下 标 第 阵 ; 

多 result 第 1 行为 测试 集 的 仿真 结果 ,第 2 行为 测试 集 的 志 实 结果 。 


21.4.6 结 果 


1 结果 显示 
为 了 使 读者 更 为 直观 地 对 仿真 结果 进行 分 析 , 本 案例 用 disp() 函 数 将 结果 显示 在 命令 窗 
口中 ,具体 程序 为 : 
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名 多 结果 显示 
total_ B= length( find(data( ; ,2) 
total _M= length(find(data( :,2) == 2))3 
nunber_B= length(find(Tc_test ==1)); 
number N= length(find(Te_test == 2)); 
nunber. B_sin= length(find(Tc sim== 1 & Tc.test 
number, = length(find(Te._s 2 STe_test == 2)); 
osp([ 病 例 总 数 :num2str(569).. . 

， 良性 ,pun2str(total 8)... 

” 恶性 :" num2str(total MW)]); 
disp([ 训 练兵 病 例 总 数 :， num2str(500)... 

” 鼻 性 :" num2str(count_B) 

” 恶性 :" num2strtcount_H)])， 
disp([ 测 试 集 病例 总 数 :num2str(69).. 

” 良性 : num2str(nunber _B). 

” 苔 性 ，nun2str(number_H) 了)， 
disp([ 良 性 乳腺 肿瘤 确诊 :num2str(nunber B_sim)... 

” 误诊 ,nun2str(number B- number B sin)、， 

” 确诊 率 pl =' nun2str(number B_sim/nunber Bx 100) 9)s 
disp([ 亚 性 乳腺 肿瘤 确诊 :' num2str(nunber Msim)... 

， 误诊 :' nup2strCnunber N-number Msim)... 

” 确诊 率 p2 =' num2str(nunber M_sim/number Mx 100) '%]); 


了 


2. 结果 分 析 

某 次 运行 神经 网 络 溃 练 测试 的 运行 结果 如 下 ; 

病例 总 数 :569 ”良性 :357 恶性 :212 

训练 集 病例 总 数 ,500 ”良性 :312 ”恶性 ;188 

测试 集 病例 总 数 :69 ”良性 :45 ”恶性 ,24 

良性 乳腺 肿瘤 确诊 :43 ”误诊 :2 ”确诊 率 pl = 95.5556 % 

恶性 乳腺 肿瘤 确诊 :20 ”误诊 :4 确诊 率 p2 = 83.3333 届 

从 上 述 结果 可以 看 出 ,在 69 组 测试 集 数据 中 ,有 6 组 数据 误 涂 断 (2 组 将 良性 乳腺 肿瘤 误 
诊 为 器 性 乳腺 肿瘤,4 组 将 吐 性 乳腺 肿瘤 误诊 为 良性 乳腺 肿 狂 ) ,平均 诊断 正确 兴 达 91. 3% 
(63/69) 。 实 验 结果 表明 ,将 LVQ 神经 网 络 应 用 于 模式 识别 是 可 行 的 。 


21.5 娄 例 扩展 


21.5.1 对 比分 析 


本 小 节 将 对 比 上 述 LVQ 神经 网 络 与 BP 神经 网 络 两 种 模型 的 效果 ,BP 神经 网 络 模 碟 的 
程序 如 下 ， 


和 创建 到 网 络 


net = newff{minmax(P_train) ,[50 13， {tansig',' purelin'} "trainlmDi 
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和 入 设置 网 络 参数 


| 
| net, trainparanm. epochs 
| 


met , trainParam. show 


net. trainParam 1r = 0. 1 

met .trainParam. goal = 0.15 

多 钊 训练 网 络 

net= train(net,P train,Te. train); 
名 仿真 测试 


Tsin= sin(net.P. test); 


for i= 


fT_sin(i)< =1.5 


:length(T_sin) 


Tsin(i) =1; 
else 
Tsim(i) = 23 
end 

end 
result = [T sim;sTc, test] 
number B= length(find(Te_test ==1)); 
number MH= lengthtfind(Te_ test == 2)); 
nunber B sim= length(find(T sin(1;number 8) ==1)); 
nunber M_ sim= length(find(T. sim(number B+1.end) == 2)); 
! disp([ 病 例 总 数 ，nun2str(569). 
um2str(total_ By). 

， 恶性 :" num2str(total_M)])， 
disp( 了 "训练 集 病例 总 数 : nun2str(500).,、 

， 良 性: 

， 恶性 ,num2str(count_M)]) 
disp([ 测 试 集 病例 总 数 : num2str(69).、 

， 和 诺 性 ;' num2strCnamber_ B). 

， 恶性 :' nun2str(number_M)]); 
i disp([" 良 性 乳腺 肿瘤 确诊 :' num2str(number_B_sim),。 

， 确诊 率 pl =' nun2str(nunber_B_sim/nunber_B*100) '$"]); 
disp(T 恶 性 乳腺 肿瘤 确诊 :nun2strtnumber_M_sin). 

， 误诊 ,nun2str(nnmber_NH-~ number_N_sim). 

' 确诊 率 p2= snotr Cunber Msin/nonber H #100) '%"]): 


遂 凑 高 床 半 转台 区 区 首 院 赣 


num2str(count_B)... 


num2str(nunber. B— nunber B_sin). .. 


YTIY 风 守成 市 谍 灌 宫 许 党 开 对 


则 认为 站 局 于 良性 种 痢 .输出 大 于 1.5 则 表示 局 于 恶性 肿 痛 。 
| 196 | 在 训 练 集 和 测试 集 与 LVQ 神经 网 络 禁 问 的 情况 下 .程序 运行 结果 为 


病例 总 数 ;569 ”良性 :357 ”恶性 ,212 

训练 集 病例 总 数 ;500 ”良性 :312 ”恶性 :188 
测试 集 病 例 总 数 : 5 恶性 : 
良性 乳腺 肿瘤 确 诊 :35 ”误诊 :10 ”确诊 率 pl = 77.7778 和 % 
湿性 乳腺 肿瘤 确诊 :16 ” 误 浴 :8 ”确诊 率 p2 = 66.6667% 


说 明 : 由 于 BP 网 络 输出 韭 三 值 结果 .因此 积 序 小 进行 了 四 售 二 人 处 理 , 即 若 输 出 小 于 1 
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从 上 述 结 昌 可 以 看 出 ,在 69 组 测试 集 数据 中 ,有 18 组 数 撕 误诊 断 (10 组 将 良 腺 肿 交 
误诊 为 恶性 乳腺 肿瘤 ,8 组 将 恶性 乳腺 肿瘤 误诊 为 良性 乳腺 肿瘤 ), 半 均 诊 断 正 确认 达 73. 9 
《51769) 。 

对 比 LVQ 神经 网 络 及 BP 神经 网 络 的 仿真 结果 ,可 以 看 出 ,LVQ 神经 网 络 的 效果 比 BP 
神经 网 络 要 好 很 多 ,这 也 表明 LVQ 神经 网 络 用 于 模式 识别 是 有 效 的 。 


21.5.2 党 例 扩展 
LVQ 神经 网 络 尤 沉 对 数据 进行 预 处 理 , 这 使 得 相 比 于 其 他 神经 网 络 ,LVQ 神经 网 络 更 简 


单 . 喝 有效。LVQ 神经 网 络 忆 经 应 用 到 各 行 各 业 中 ,如 故障 涂 断 .性 能 评价 .风险 孩 测 竺 。 近 
年 来 ,许多 人 储 力 于 饶 究 LVQ 神经 网 络 的 特点 ,所 由 了 很 多 改进 的 算法 以 解决 "处 " 神 经 诗 问 


题 ,改善 权 俏 调整 规则 等 ,具体 参考 文献 [7]~L10]。 
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第 22 章 LVQ 神经 网 络 的 预测 
一 一 人 脸 朝 向 识别 


22. 1 业 例 每 景 


22.1.1 人 脸 识 别 概述 


人 脸 识 别 作为 一 个 复杂 的 模式 识别 问题 ,近年 米 受 到 了 广泛 的 关注, 识别 领域 的 各 种 方法 
在 这 个 问题 上 各 显 所 长 ,而 由 发 展 出 了 许多 新 方法 ,大 大 丰富 和 拓宽 了 模式 识 刊 的 方向 。 人 脸 
识别 检测、 跟踪 ,特征 定位 等 技术 近年 来 一 各 是 研 改 。 人 脸 识 别 是 人 脸 应 用 全 究 中 重 
彼 的 第 一 步 ,日 的 是 从 图 像 中 分 割 出 不 包括 背 茶 的 人 脸 区 域 。 山 十 大 脸形 状 的 不 规则 性 以 及 
光线 和 背 遇 条 件 多 样 性 , 现 有 的 人 脸 研 究 算 法 玫 基 在 试图 解决 某 些 特定 实验 蒜 境 下 的 -一些 其 
体 问题 ,对 人 脸 位 置 和 状态 部 有 一 定 的 归 求 。 而 在 实际 应 用 中 ,大 其 图 像 和 视频 源 中 人 脸 的 位 
置 、. 圳 向 和 旋转 角度 都 不 是 固定 的 ,这 就 大 大 增加 了 人 脸 识 别 的 难度 。 

在 人 脸 识别 领域 的 众多 研究 方向 中 ,人 脸 朝 癌 分 析 一 让 是 一 个 少 有 人 涉及 的 领域 。 在 以 
逢 的 研究 成 果 中 ,一 些 研究 者 淡 及 了 人 胺 朝向 问题 , 们 其 中 绝 大 多 数 玫 是 希望 在 人 脸 识别 过 程 
中 去 除 人 脸 水 平 旋转 对 识别 过 程 的 不 月 影响 。 但 是 ,实际 问题 费 复杂 得 多 ,人 脸 朝 癌 是 一 个 无 
法 叫 避 的 问题 。 因 此 ,对 十 人 脸 刘 向 的 判断 和 识别 .将 会 总 一 件 正常 义 的 工作 。 


22.1.2 问题 描述 


现 采 集 到 一 组 人 脸 朝 向 不 同 角度 时 的 图 像 ,图像 来 自 不 同 的 10 个 人 ,每 人 5 幅 图 像 ,人 脸 
的 朝向 分 别 为 : 左 方 、 左 前 方 、 前 方 、 右 前 方 和 右 方 ,如 图 22 - 1 所 示 。 试 创建 一 个 LVQ 神经 网 
络 ,对 任意 给 出 的 人 脸 图 像 进行 朝向 预测 和 识别 。 


图 22-1 人 脸 识别 图 像 


22.2 模型 建立 


22.2.1 设计 思路 
通过 观察 不 难 发 现 , 当 人 脸面 朝 不 同方 向 时 ,眼睛 在 图 像 中 的 位 置 差别 较 大 。 内 此 ,可 以 
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考虑 将 图 片 中 描述 眼睛 位 置 的 特征 信息 提取 出 来 作为 LVQ 神经 网 络 的 输入 ,5 个 朝向 分 别 用 
1,2,3,4,5 表示 ,作为 LVQ 神经 网 络 的 输出 。 通 过 对 训练 集 的 图 像 进 行 训练 ,得 到 具有 预测 
功能 的 网 络 , 便 可 以 对 任意 给 出 的 人 脸 图 像 进行 朝向 判断 和 识别 。 


22.2.2 设计 步骤 
根据 上 述 设计 思路 ,设计 步骤 主要 包括 以 下 玫 个 部 分 ,如 网 22 - 2 所 示 。 


人 脸 特 征 癌 莹 提取 | 一 村 训 练 各 浏 试 集 产生 网 络 创建 训 网 络 训练 上 直人 脸 识别 


+ 


图 22-2 设计 步 极 流程 图 

1. 人 脸 特 征 向 量 提取 

如 设计 思路 中 所 述 , 当 人 脸 朝向 不 同时 ,眼睛 在 图 像 中 的 位 置 会 有 明显 的 差别 。 因 此 ,只 
需要 将 描述 人 眼 位 置信 息 的 特征 向 量 提取 出 来 即 可 。 方 法 是 将 整 幅 图 像 划分 成 6 行 8 列 ,人 
眼 的 位 置信 息 可 以 用 第 2 行 的 8 个子 矩 阵 来 描述 (注意 :针对 不同 大 小 的 图 像 ,划分 的 网 格 需 
梢 作 修改 ) ,边缘 检测 后 8 个 子 矩 阵 中 的 值 为 “1 的 像素 点 个 数 与 人 脸 朝向 有 直接 关系 ,只 要 分 
别 统计 出 第 2 行 的 8 个 子 夭 阵 中 的 值 为 "1? 的 像素 点 个 数 即 可 。 

2， 训 练 集 /测试 集 产 生 

为 了 保证 训练 集 数据 的 随机 性 ,随机 选取 图 像 库 中 的 30 幅 人 脸 图 像 提取 出 的 特征 向 量 作 
为 训练 集 数据 ,剩余 的 20 幅 人 脸 图 像 所 取出 来 的 特征 向 量 作为 测试 集 数据 。 

3, LYQ 网 络 创 建 

LVQ 神经 网 络 的 优点 是 不 需要 将 输入 向 量 进行 归 一 化 . 正 交 化 ,利用 MATLAB 自 带 的 
神经 网 络 工具 箱 关 数 newlvq() 可 以 构建 一 个 LVQ 神经 网 络 ,关于 该 函数 的 用 法 及 说 明 在 
第 21 章 中 已 作 详细 说 明 ,此 处 不 王 熬 述 。 

4. LVQ 网 络 训练 

网 络 创 建 完毕 后 , 便 可 以 将 训练 集 输 入 向 量 送 入 到 网 络 中 ,利用 LVQ1 或 LVQ2 算法 对 
网 络 的 权 值 进行 调整 ,直到 满足 训练 要 求 送 代 终止 。 

5. 人 脸 识 列 测试 

网 络 训练 收 魏 后 , 便 可 以 对 测试 集 数 据 进行 预测 , 即 对 测试 集 的 图 像 进 行人 脸 朝 癌 识别 。 
对 于 任意 给 出 的 图 像 , 只 需要 将 其 特征 向 量 提取 出 来 , 便 可 对 其 进行 识别 。 


22.3 MATLAB 实现 

利用 MATLAB 神经 网 络 上 上 县 箱 提供 的 函数 可 以 方便 地 在 MATILAB 环境 下 实现 上 述 设 
计 步 骤 。 
22.3.1 清 室 环 境 变 量 


程序 运行 之 前 ,清除 工作 空间 (workspace) 中 的 变量 及 命令 窗口 (comrmand window) 中 的 
命令 。 具 体 程序 为 ; 


"器 凋 瘦 痪 是 站 击 生 于 SYTIYJ 济 扎 本 芒 册 路 稚 头头 二 -本 项 言 本 二 轴 卫 世 导 学 溢 襄 
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包 名 清空 环境 变量 
clear all 
cle 


22.3.2 人 有 验 将 征 向 量 提取 


如 设计 步骤 中 所 述 , 人 脸 特 征 向 量 提取 的 任务 是 将 图 像 中 描述 人 眼 位 置 的 信息 所 取出 米 ， 
即 统计 出 划分 网 格 第 2 行 的 8 个 子 矩阵 中 的 值 为 "1 "的 像素 点 个 数 。 具 体 实现 程序 如 下 


第 人 脸 特征 向 莉 提 取 
人数 

N=10; 

% 人 脸 朝 向 类 别 数 
Nz5; 

% 特征 向 量 提 骤 


Bixel_value = feature extraction(M,N); 
其 中 ,feature_extraction 为 人 脸 特 征 向 量 提取 子 邱 数 ,feature_extraction. m 程序 为 : 


function pixel_value = feature extraction(m,n) 
pixel_value = zeros(50,8)1 
sample_nunber = 0 


for i=1:n 


- 巨 产 语 从 泪 轴 站 直下 学 济 只 


for j= 1n 
str = strcat(’ Images\' num2str(i), ,num2strtj) bmp? 
img= imread(str); 
[rows cols] = size(img)s 
ing_edge = edgel ing,' Sobel ') } 
sub_rows = floor(rows/6)3 
sub_cols = floor(cols/8)s 
sample_nunber = sample_ number + 1 
for subblock i=1:8 
for 这 
for jj (subblock_i~ 1) x sub_cols + 1:subblock i* sub cols 
pixel_value(sanple number, subblock i) =... 


ub Tows + 112 % Sub_rows 


pixel_value(sanple_nunber, subblock_i) + img_edge(idyjj 
end 


TIYN 六 从 市 沪 滞 深 兴 流 吏 沁 


end 


目 
8 


说 明 : 

名 人 脸 图 像 库 的 图 片 放 在 文件 名 为 Images 的 文件 夹 中 ,图 片 的 命名 规则 为 “i_j. bmp”， 
其 中 必 表 示人 的 编号 ,， 表示 人 脸 朝 癌 的 编号 ,这 里 ,一 1,2，… 10 汪 一 1，2，5。 

回 函数 strcat() 的 作用 是 将 字符 串 进行 水 平 连接 ,具体 用法 可 以 查看 Help 帮助 文档 。 
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集 。 


名 晒 数 imread() 用 于 将 图 片 转换 成 对 应 的 年 阵 。 
他 eqge() 是 边缘 提取 摧 数 ,其 参数 “Sobel" 是 边缘 提取 算 子 。 


3.3 训练 集 / 测 试 全 产生 


图 像 亩 中 所 有 图 片 的 特征 向 量 提 取出 来 以 后 ,随机 将 其 分 成 两 组 ,分 别 作为 训练 集 和 测试 
其 中 ,训练 集 包含 30 个 不 同人 脸 朝 向 的 图 片 的 特征 向 量 , 测 试 集 为 剩余 的 20 个 不 同人 脸 


朝向 的 图 片 的 特征 向 量 。 其 体 程 序 如 下 : 


22, 


20。 


22. 


# $% 训练 集 / 测 试 集 产生 

s# 产生 图 像 序号 的 随机 序列 

rand. label = randperm(H * N); 

% 人 脸 朝 向 标号 

direction_label = repmat(1:N,1,M); 
训练 集 

train_label = rand_label(1:30); 
P_train = pixel_value(train label,:)'s 
Tc_train = direction_label(train_label)， 
了 T_train = ind2vectTc_train) 

* 测试 集 

test. label = rand_label(31:end) ; 

P test= pixel_valuve(test label;;)'; 
Te_test = direction. label(test_label); 


说 明 : 

名 函数 randperm(n) 用 于 产生 一 个 从 素数 1 到 ”的 随机 排列 。 
@ 盟 数 repmat() 用 于 矩阵 复制 。 

国明 数 ind2vec() 及 vec2ind() 的 用 法 见 第 21 章 。 


3.4 创建 LVQ 网 络 


利用 newlva() 函 数 可 以 方 使 地 创建 一 个 LVQ 神经 网 络 。 这 里 , 隐 含 层 神经 元 个 数 设置 为 
由 于 训练 集 数据 是 随机 产生 的 ,所 以 参数 PC 的 设置 需要 事先 计算 得 出 ,具体 的 程序 为 : 


$$ 创建 IO 网 络 
for i=1:5 
rate{i} = length(find(Te train== i))/30, 
end 
net = newlva(ninmax(P_train) ,20,cell2nat(rate))s 
多 设置 训练 参 效 
net. trainPeran. epochs = 100; 
net. trainParan. goal = 0. 001; 


net. trainparam. ]r = 0.18 


3.5 训练 LVQ 网 络 
网 络 创建 完成 及 相关 参数 设置 完成 后 ,利用 MATLAB 自 带 的 网 络 训练 函数 train() 可 以 
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方便 地 对 网 络 进行 训练 学 习 , 具 体 程 庄 为 ; 


训练 网 络 


net = train(net,P._train,T_train); 


22,3.6 人 有 验 识 别 测 试 


利用 sim( ) 果 数 将 测试 集 输入 数据 送 入 训练 好 的 神经 网 络 , 便 可 以 得 到 测试 集 的 输出 仿 


真 数据 , 即 测试 集 隐 像 的 人 脸 朝 站 识别 结 玉 。 详 细 程 序 如 下 ， 


和 % 仿真 测试 
Tsin= sim(net,P_test)s; 
Tc_sim = vec2ind(T sin)s 


result = [Tc_testiTc_sim] 


说 明 :resul 第 1 行为 测试 集 图 像 的 标准 人 有 验 户 站 类别 ,第 2 行为 测试 集 图 像 的 痪 测 人 脸 


朝向 类 别 。 
22.3.7 结果 显示 


本 案例 将 识别 的 结 灯 以 更 加 直观 的 形式 呈现 给 读 浓 .具体 程序 如 下 : 


名 结果 显示 
和 训练 集 人 脸 标 号 
strain_label = sort(train label); 
htrain_label = ceil(strain_label/N)} 
$ 训练 集 人 脸 朝 向 类 别 
dtrain_label = strain label - floor(strain label/N) > N; 
dtrain_ label(dtrain label ==0) = Ni 
% 显示 训练 集 图 像 序号 ， 
dispC 训 练 集 图 像 为 ，)3 
for i= 1:30 
str_train= [nun2str(htrain. label(i)) "... 
num2str(dtrain label(i))' "]; 
fprintf( % s',str_train) 
if mod(i,5) ==0 
Eprintf(\n); 
end 
end 
$ 测试 集 人 脸 标号 
stest_label = sort(test_label)) 
htest_label = ceil(stest_label/N); 
*# 测试 集 人 脸 朝 向 标号 
dtest_label = stest_label - floor(stest_label/N) * N; 
dtest_label(dtest_label == 0) = 3 
立 示 测试 集 图 像 序号 
出 sp( 济 试 集 图 像 为 :); 
for i=1:20 
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人 脸 彰 向 识 避 Arene 


end 


str_test = [num2str(htest_label(i)) 


num2str(dtest_label(i))” "]; 


fprintf('% s',str_test) 
证 mod(i5J == 


fprintf (Nn'); 


end 


* 最 示 识别 出 错 图 像 

error = Te_sin- Tc test; 

location = {在 力 宕 前 方 前 方 市 前 方 有 汶 ， 
for i= 1,length(error) 


end 


$ 显 东 


证 error(i)~ =0 


入 识别 出 错 图 像 人 脸 标号 

herror_label = ceil(test_label(i)/WD)} 

旬 识 咽 出 错 图 像 人 脸 朝 向 标号 

derror label = test_label(i) - floor(test_label(i) /NW # N; 

derror_label(derror label == 0) = Ni 

$ 图 像 原 始 朝向 

standard = location{Te_ test(i)}, 

% 图 像 识 别 结果 朝向 

identify = location{ Te sim(i)}; 

str_err = strcat([' 图 像 ' num2str(herror_label) 

nvm2str(derror_label) ' 识 别 出 错 ."]); 

displ[str_err “(正确 结果 ; 蔓 问 ' standard... 

“识别 结果 ,朝向 identify )])s 


end 


别 率 


disp([ 识别 率 为 ;' num2str(length(find(error == 0))/20 *100) '$"]); 


22.3.8 结果 分 析 
程序 某 次 运行 的 结果 为 ， 
Tesrult = 
Columns 1 through 12 
5 5 3 4 2 4 2 习 2 
5 5 3 4 2 4 2 4 2 
Columns 13 through 20 
5 3 1 4 3 1 3 1 
5 3 1 1 3 1 3 1 
训练 集 图 像 为 : 
14 21 22 23 25 
31 32 34 44 45 
52 53 54 55 61 
6.2 63 64 71 75 
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B81 83 85 91 92 
9.5 101 102 10.3 10.5 

测试 集 图 像 为 : 

1i 12 13 15 2.4 

33 35 41 42 43 

51 65 72 73. 74 

82 84 93 94 10.4 

图 像 9.4 识别 出 错 . (正确 结果 : 彰 向 右前 方 ;识别 结果 :朝向 左 方 ) 
图 像 7_4 识别 出 销 , 正确 结果 : 彰 向 右前 方 :识别 结果 :朝向 左 方 》 
识别 率 为 :90% 


从 以 于 结果 可 以 看 出 , 当 训 练 目 标 net. trainParam. goal 设 为 0. 001 时 ,识别 率 在 90% 以 


上 ,甚至 可 以 达到 100%。 因 此 ,利用 LVQ 神经 网 络 对 人 脸 识 别 是 可行 且 有 效 的 。 


需要 注意 的 一 点 是 , 当 训 练 集 较 少时 ,比如 说 只 取 1~2 个 人 脸 的 图 像 特征 向 量 参与 训练 ， 


识别 率 会 相对 较 低 些 。 因 此 ,在 防止 出 现 过 拟 合 的 同时 ,应 尽量 增加 训练 集 的 样本 数目 。 


22.4 过 例 扩展 


22.4.1 对 比分 析 


本 节 将 利用 BP 神经 网 络 ,支持 向 量 机 SVM 对 该 问题 进行 建 模 分 析 , 同 时 比较 三 种 方法 


结果 并 分 析 优 缺 点 。 


1. LYQ 神经 网 络 与 BP 神经 阅 络 对 比 
在 BP 神经 网 络 中 ,特征 向 量 提取 的 程序 与 .VQ 神经 网 络 相同 ,此 处 不 再 歼 述 。BP 神经 


网 络 的 具体 程序 如 下 : 


s#% % 训练 集 /测试 集 产生 

# 产生 图 像 序 导 的 狂 机 序列 

rand label = randperm(M # N); 

% 人 险 朝 向 标号 

direction_ label = [1 0 011 1 0;0 1 030111001); 
包 训练 集 

train_label = rand iabel(1:30)} 

P train= pixel_value(train. label, 5 
dtrain_label = train_label - floor(train_label/N) * Ni 
dtrain_label(dtrain label == 0) =H 

Ttrain= direction label(dtrain_ label, 1)'; 

测试 集 

test_label = rand_label(31:end)y 

P_test = pixel value(test. label, :) 

dtest_label = test_label — floor(test_label/N) x N} 
dtest_label(dtest_label == 0) = Ny 

T test = direction label(dtest_label,:)" 

和 名 创建 Be 网 络 
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Pet = newtf(minmax(P. train) ,[10,3],{' tansig', purelin'},' trainim'); 


设置 训练 参数 


net. trainparan. epochs = 10004 


met .trainFaram. show = 
net. trainParam. goal = 


net. trainparam. lr = 


名 训练 好 网 络 


.1s 


0; 
Ee- 3 


met = train(net,P_ train,T train)y 


%$ 仿真 测试 
T_sim = sim(net,P_test) 
for i=1:3 

for j= 1:20 


证 T_sia(i, 习 <<0.5 
Psin(i,j) = 0 


else 


Tsin(i,j) =1; 


end 
end 
end 


说 明 :由 于 BP 神经 网 络 的 输出 并 非 二 值 数 据 , 因 此 这 里 采用 了 由 售 五 人 的 方法 , 即 车 网 
络 的 输出 小 于 0.5, 则 认为 是 0; 和 否则 则 认为 是 1。 


如 程序 中 所 示 ,在 设计 网 络 时 
述 , 具 体 对 应 规则 如 表 22 - 1 所 列 。 


,由 于 输出 只 有 5 种 状态 ,因此 可 以 用 三 位 二 进 制 数 进行 描 


表 22-1 BP 神经 网 络 输出 与 5 个 朝向 对 应 关系 
在 方 | 左前 娘 | 前 方 有 前方 [用 方 
1 1 0 0 0 
日 1 1 1 o 
0 自 o 1 1 


BP 神经 网 络 一 次 仿真 的 结果 如 下 : 


T_sim = 
Columns 1 through 10 
0 0 0 
1 1 0 
0 0 1 
Columns 11 through 20 
,1 0 1 
0 0 1 
0 1 0 
Ttest = 


Columns 1 through 10 
0 0 0 


0 1 o 0 0 
1 1 1 工 
0 0 0 1 0 
1 1 1 0 1 
1 0 1 0 0 
0 0 0 0 0 1 
0 1 9 0 0 
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YIIYK 神 乞 市 访 凡 入 剖 沪 玫 汉 - 面 凑 守 府 计 壮 与 贡 二 于 障 冰 


1 1 0 1 0 1 1 1 1 1 

0 0 1 0 1 0 0 1 0 
Colunns 11 through 20 

1 0 1 0 1 1 1 0 工 0 

0 0 i 0 0 1 0 i 0 0 

0 1 0 1 0 0 0 0 1 


从 上 述 结果 可 以 看 出 识别 率 为 85%。 但 是 值得 注意 的 是 ,第 5 组 数据 的 预测 值 为 [0;0;0]， 
不 属于 表 22 - 1 中 的 任何 一 类 ,从 结果 判断 不 出 该 图 像 的 朝向 ,而 LVQ 神经 网 络 可 以 很 好 的 
规避 这 一 缺点 。 

2. LVQ 神经 网 络 与 SVM 对 比 

与 BP 神经 网 络 相同 ,特征 向 量 提取 方法 与 LVQ 神经 网 络 相同 。 关 十 SVM 的 相关 知识 ， 
可 以 参考 第 12 章 相 应 章节 ,此 处 不 再 蒙 述 , 仅 列 出 利用 SVM 进行 仿真 预测 的 过 程 ,详细 程序 
如 下 : 

名 名 训练 集 /测试 集 产 生 


% 产生 图 像 序 号 的 随机 序列 

rand_Label = randpern(M * N)s 

$ 人 脸 罗 向 标号 

direction_label = repmat(1:N,1,M); 

多 训练 集 

rand_train = rand_label(1.30); 

Train= pixel_value(rand_train, ;)} 
Train_label = direction label(rand train)'; 
洲 试 集 

rand test = rand Label(31 :end)# 

Test = pixel_value(rand_test,:); 
Test_label = direction_label(rand. test)'; 

% SWH 模 型 

model = svmtrain(Train_label,Train, ~-c 2 -g0.05); 


% 仿真 测试 
[predict_label,accuracy) = svnpredict(Test. 1abel,Test ,model); 


当 提 取出 米 的 特征 向 量 pixel_value 没有 进行 归 一 化 时 ,程序 运行 的 结果 为 : 

Bccuracy = 30% (6/20) {classification) 

当 特 征 向 量 pixel_value 归 … 化 后 ,程序 运行 的 结果 为 : 

Accuracy = 100% (20/20) (clasaification) 

从 SVM 的 结果 可 以 看 出 ,数据 是 否 进 行 归 化 对 结果 影响 相当 大 。 相 比 于 此 ,LVQ 神 
经 网 络 最 大 的 特点 便 是 无 需 对 数据 进行 时 一 化 ,只 需要 计算 输入 向 量 与 隐 含 层 神 经 元 间 的 距 
离 即 可 进行 模式 识别 。 
22.4.2 案例 扩展 

由 于 无 需 对 数据 进行 也 处 理 ,. 可 以 处 理 复杂 模型 且 对 噪声 干扰 有 一 定 的 抑制 ,LVQ 神经 
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网 络 的 应 用 也 越 来 越 广泛 。 近年 米 , 许 多 专家 学 者 将 LVQ 神经 网 络 与 其 他 方法 相 结合 ,成 功 
地 解决 了 很 多 现实 问题 。 例 如 ,由 于 传统 LVQ 神经 网 络 存在 神经 元 未 被 充分 利用 以 及 算法 
对 初 值 敏感 的 问题 ,利用 遗传 算法 优化 网 络 的 初始 值 可 以 迅速 得 到 最 佳 的 圳 经 网 络 初始 权 值 
向 量 , 从 而 使 得 分 析 速 度 和 精度 都 有 较 大 的 提高 ,具体 请 参考 文献 [3] 一 [7]。 
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23.1 要 例 交 景 


23.1.1 小 波 理论 


小 波 分 析 旦 针对 傅 蛙 叶 变 换 的 不 足 发 展 面 来 的 , 铺 里 叶 变 换 是 信号 处 理 领域 中 应 用 最 上 
泛 的 一 种 分 析 于 段 ,然而 它 有 一 个 严重 不 是, 就 是 变换 地 奔 了 时 间 信 息 , 变 换 结果 无 法 判断 某 
个 信号 发 生 的 时 间 , 即 伟 里 叶 变 换 在 时 域 中 没有 分 辨 能 力 。 小 波 是 - -种 长 度 有 限 .平均 值 为 0 

QD 时 域 都 共有 紧 支 集 或 近似 紧 支 集 ; 

加 直流 分 量 为 0。 

小 波 函 数 是 由 一 个 共 小 波 沙 数 经 过 平移 与 尺寸 伸 继 得 到 ,小 波 分 析 即 把 信号 分 解 成 一 系 
列 小 波 函 数 的 合 加 。 

小 波 变 换 是 指 把 茶 一 基本 小 波 旺 数 %(0) 平 移 r 后 ,再 在 不 同 尺度 a 下 与 待 分 析 的 信号 
工 (90 做 内 积 。 


1r tr ~ 
7 =- 车 zy( jd a>0 (23-1) 

等 效 的 时 域 表 达 式 为 
fan -去 rl) pa erdt a>0 (23 -2) 


式 中 ,r 和 a 大 里 面 的 参数 ,z 相当 于 使 镜头 相对 于 目标 平行 移动 ,a 相当 于 使 镜头 向 日 标 推进 

从 式 (23 一 1)1 式 (23 -2) 可 以 看 出 ,小 波 分 析 能 够 通过 小 波 基 范 数 的 变换 分 析 信 号 的 局 
部 特征 ,并 电 在 二 维 情况 下 具有 信和 分 方向 选择 性 能 力 ,因此 ,该 方法 作为 种 数学 理论 和 分 析 
方法 ,引起 了 广泛 关注 。 


23.1.2 小 波 神 经 网 络 


小 波 神经 网 络 是 一 种 以 BP 坤 经 网 络 拓扑 结构 为 基础 ,把 小 波 某 晒 数 作为 隐 含 层 节 点 的 传 
递 商 数 , 信 号 前 向 传播 的 同时 误差 反 向 传播 的 神经 网 络 。 小 波 神经 网 络 的 拓扑 结构 如 图 23 - 1 
所 未。 

图 23 -1 中 ,Xi,X,，…,X; 是 小 波 神经 网 络 的 输入 参数 ,Y ,Y,，…,Y,。 是 小 波 神 经 网 络 
的 预测 输出 ,wj 和 wz* 为 小 波 神经 网 络 权 值 。 

在 输入 信 革 序列 为 x,(i 二 1,2,… ,时 ,有 隐 含 层 输出 计算 公式 为 
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图 23-1 小 波 神经 网 络 拓 扑 结 构 


4 
1 Dri 一 已 
si | 2 (23 -3) 


3 1 


式 中 ,h(7) 为 隐 含 层 第 j 个 节点 输出 值 ;ow 为 输入 屋 和 隐 含 层 的 连接 权 值 ;5 为 小 波 基 郴 数 疙 ， 
的 平移 因子 ;a 为 小 波 基 眶 数 h; 的 伸缩 因子 ;h; 为 小 波 基 画 数 。 
本 案例 采用 的 小 波 基 函数 为 Morlet 母 小 波 基 函数 ,数学 公式 为 
了 一 cos(1.75z)e (23 -4) 
所 数 图 撒 如 图 23 -2 所 示 。 
Morlet 和 小波 函 数 败 形 


1 
r 


08, 
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下 
四 
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xo 
[9 
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图 23 -2 Morlet 母 小 波 基 西数 
小 波 神 经 网 络 输出 层 计算 公式 为 


: 
YE) 一 Doi) k=1,2, sm (23 -5) 
气 
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式 中 ,wa 为 隐 含 屋 到 输出 民权 值 ;6 为 第 i 个 隐 含 屋 节 点 的 输出 ;i 为 隐 含 层 节点 数 ;m 为 答 
出 习 节 点 数 。 

小 波 神经 网 络 权 值 参数 修 止 算法 类 似 于 BP 神经 网 络 权 值 修正 算法 ,采用 梯度 修 止 法 修 
正 网 络 的 权 值 和 小 波 基 盯 数 参数 ,从 而 使 小 波 神经 网 络 预测 输出 不 断 通 近期 户 条 出。 小 波 神 
经 网 络 修正 过 程 如 下 。 

(1) 计算 网 络 预 测 误 英 


= on) 一 3 有) (23 一 6) 
名 


武 中 ,yn() 为 期 望 输出 ;y(&) 为 小 波 神 经 网 络 预测 输出 。 
(2) 根据 预测 误差 < 修正 小 波 神 经 网 络 权 值 和 小 波 基 函 数 系数 


wh A (23—7) 
a = a aa" (23 .8) 
如 一 可 二 AB， (23 -9) 
式 中 心 oo aa Abs 是 根据 网 络 预测 误 茵 计算 得 到 ; 
on 一 7 (23-10) 
| 
aa = 一 9 (23 -11) 
na 
Ab 一 一 了 5 (23 - 12) 
36 


式 中 必 为 学 当 速 案 。 

小 波 神 经 网 络 算法 训练 步骤 如 下 。 

步骤 1; 网 络 初始 化 。 随 机 初始 化 小 波 函 数 伸缩 因子 ww .平移 因子 所 以 及 网 络 连接 权重 
os vw, 设置 网 络 学 习 速 率 人 

步 又 2, 样本 分 类 。 把 样本 分 为 训练 样本 和 测试 样本 ,训练 翌 本 用 于 训练 网 络 ,测试 样本 
用 于 测试 网 络 预测 精度 。 

步 枝 3: 预 测 答 出 。 把 训练 样本 输入 网 络 ,计算 网 络 项 测 输 出 并 计算 网 络 输出 和 期 户 输 出 
的 误差 。。 

步 枝 4: 权 值 修正 。 根 据 误差 e 修正 网 络 权 值 和 小 波 函 数 参数 ,使 网 络 项 测 值 通 近期 
望 值 。 

步骤 5: 判 断 算法 足 否 结束 ,如 没有 结束 ,返回 步骤 3。 
23.1.3 交通 流量 预测 

随 着 交通 此 而 设置 建设 和 知 能 送 答 系统 的 发 展 ,交通 规划 和 交通 诱导 已 成 为 安 中 领域 研 
究 的 热点 。 对 于 交通 规划 和 交通 诱导 米 说 ,准确 的 交通 流 基 顶 测 是 其 实现 的 前 提 和 关键 。 交 
通 流 景 预测 根据 时 间 跨度 可 以 分 为 长 期 交通 流量 预测 和 短期 交通 流明 顶 淹 , 长 期 交通 流 量 白 
测 以 小 时 ,天 .月 盐分 年 为 时 问 单位 ,是 宏观 意义 上 的 项 测 ; 短 导 交通 流量 预测 一 般 的 时 间 跨 度 
不 超过 15 分 钟 , 是 微观 意义 上 的 斋 测 。 吞 时 交通 流 景 顶 测 是 智能 运输 系统 的 核心 内 容 , 智 能 
运输 系统 中 多 个 子 系 统 的 功能 实现 都 以 其 为 基础 。 短 时 灾 通 流 基 硕 测 具有 高 度 间 线性 和 不 确 
定性 等 特点 .并 下 同时 间 相 关 性 较 强 ,可 以 大 成 是 时 间 序 列 预测 问题 ,比较 常用 的 方法 包括 多 
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无 线性 回归 预测 、AR 模型 预 浏 .ARMA 模型 预测 .指数 平滑 预测 等 。 


23.2 模型 建立 


研究 表明 ,城市 交通 路 网 中 交通 路 段 上 某 时 刻 的 交通 流量 与 本 路 段 前 几 个 时 段 的 交通 流 
量 有 关 。 并 日 交 通 流 量具 有 24 小 时 内 准 周期 的 特性 。 根 据 交通 流 最 的 特性 设计 小 波 神 经 网 
络 ,该 网 络 分 为 输入 层 . 隐 含 层 和 输出 此 三 层 。 其 中 ,输入 层 输 入 为 当前 时 间 点 的 前 一 个 时 间 
点 的 交通 流量 ; 隐 含 层 节 点 由 小 波 函 数 构成 ;输出 层 输 出 当前 时 问 点 的 预测 交通 流量 。 

首先 采集 4 大 的 交通 流量 数据 ,每 隔 15 分 钟 记 冰 一 次 该 段 时 间 内 的 交通 流量 ，- 共 记录 
384 个 时 间 点 的 数据 ,用 3 大 共 288 个 的 交通 流 基 数据 训练 小 波 神经 网 络 ,最 后 用 训练 好 的 小 
波 神 经 网 络 预 测 第 4 天 的 交通 流 蜡 。 基 于 小 波 神 经 网 络 的 短 时 交通 流量 预测 算法 流程 如 图 
23-3 所 示 。 


TY TFT 本 
N 
< 信 建 梳 | | 的 奸 合 泛 的 小 流 | | | | 直流 入 经 网 络 | 小波 神经 网 络 | 人 
i ee We de 下 称 引 练 结束 
小 流入 48 络 测 这 
小 波 神 经 网 络 | 贡 江 Y 
和 作 测试 归 拓 


图 23-3 小 波 神经 网 络 算法 流程 
小 波 神经 网 络 构 建 确定 小 波 神经 网 络 结构 ,本案 例 采用 的 小 波 神 经 网 络 结构 为 4-6- 1， 
输入 层 有 4 个 节点 ,表示 预测 时 间 节 点 前 4 个 时 间 点 交通 流量 , 隐 含 及 有 6 个 节点 ,输出 屋 有 
1 个 节点 ,为 网 络 该 测 的 交通 流量 。 网 络 权 值 和 小 波 基 函 数 在 参数 初始 化 时 随机 得 到 。 
小 波 神经 网 络 训练 :用 训练 数据 训练 小 波 神 经 网 络 , 网 络 反 复 训 练 100 次 。 
小 波 神 经 网 络 测试 ;用 训练 好 的 小 波 神经 网 络 预 测 短 时 交通 流 最 ,并 对 预测 结果 进行 
分 析 。 


23.3 纺 程 实 规 

根据 小 波 神 经 网 络 原理 在 MATLAB 环境 中 编程 实现 基于 小 波 神经 网 络 的 短 时 交通 流量 
预测 。 
23.3.1 小 波 神 经 网 络 初 始 化 


从 数据 库 中 下 载 训 练 数据 和 顶 济 数 据 ,初始 化 小 流 神 经 网 络 结构 、 权 值 和 小 波 函 数 参数 ， 
并 对 训练 数据 进行 归 化 处 理 。 其 中 ,input、output 分 别 为 训练 输入 和 输出 数据 ,input_test、 
output_test 分 别 为 预测 输入 和 输出 数据 。 
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名 从 数据 库 中 下 载 数据 
load traffic_flux input output input_test output_test 


网 络 结构 初始 化 
= 4 


4 权 值 和 参数 学 习 率 
1r1=0.01; 

1r2=0.001; 

naxgen = 100; ”% 网 络 先 代 学 习 次 数 


名 网 络 权 值 初始 化 
Wk = randa(n,N)y 
Wij= randn(N,n)s; 
a= randn(tl,n)s 
b= randn(1,m); 


#% 权 值 学 习 增 量 初 始 化 
dHjk = zeros(n,M)s 
dWij= Zeros(N.n}s 
da= zeros(1,n); 


db= zeros(1,n): 


# 训练 数据 归 一 化 

[inpotn, inputps] = mapminmax( input 4 
[outputn, outputps] = napninmax(output 1 
inputn = inputn' 

outputn = outputn'; 


23.3.2 小 波 神经 网 络 训练 
用 训练 数据 训练 小 波 神经 网 络 ,使 小 波 神经 网 络 共 有 短 时 交通 流量 预测 能 旋 。 


入 网 络 训练 
for 1 = 1:maxgen 


error(i) < 0; 名 记录 每 次 误差 
网 络 训 练 
for kk = 1:size(input,1) 

名 提取 输入 输出 数据 

x= inputn(kk, :)s 

yqw = outputn(kke, :) 4 


网 络 预 测 输 出 
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for j= lin 


for k=1:M 
net(j) = net(j) + Wjk(jik) # x(k)s 
net_ab(j) = (net(j) - b(j))/a(j); 


end 
tenp = mynorlet (net_ab(3)); 
for k=1: 
了 = 了 + Niji) # tempy 
end 
end 
误差 累积 
error(i) = error(1) + sun(abs(ygw — y))s 
权 值 修正 
for j= 1:n 


end 


计算 d_Rij(Wij 修正 值 > 
tenp = mynorlet(net_ab(j))} 
fork= 1:8 
Nij(ksj) = Wij(k,j) - (yqw(k) -CD)) atenpi 
end 


第 计算 d_WjktWjk 由 正 值 》 
tenp = d_mynorlet(net_ab(j))} 
for x=1:k 
for 1=1:8 
出 mk(j,x) = d_WjkCjsk) + Cyqw C1) -了 (1))》w Wij(1,3) ; 
end 
NkC kK) = — dWjk(jk) # tenp* xCk) /a(j)s 
end 


生计 算 dblb 修 正 值 
for k=1:N 
db(ji) = d_ bi) + (yaw(k) ~ yk)) # Wij(k, j)s 


end 
Lb(j) = db(3) * temp/a(j)s 


计算 d_ata 修正 值 ) 
for k=1,y 
atj) = d atj) + (yqw(k) ~ ye)) # Wij(k, j)y 
end 
出 a(j) = dalj) x tenpx (Cnet(j) — bj))/b()) /aci)s 


$ 权 值 参数 更 新 
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Wij= Wij~ rl dWijs 
Wk = Wk — 1r1 « d_Hjks 
b=b- lr2# db 


a=za~lr2rd a 


d_ Nik = zeros(n,M)s 
d_Wij = zeros(Nsn); 
da= zeros(l.n): 


d_b= zeros(1,n)} 


了 = zeros(1,N)s 

net = zeros(1,n)} 

net_ab= zeros(1,n)s 
end 


end 


其 中 ,程序 中 包含 的 小 波 丽 数 mymorlet 及 小 波 函 数 偏 导 数 d_mymorlct 的 形式 如 下 ; 


function y= nymorlet(t) 


所 该 函数 计算 小 波 函 数 输 出 
各 二 input 输入 变量 
Ey output 输出 变量 


y= exp(™ (t.°2)/2) # cos(l.75xt)s 
function y= d_mynorlet(t) 


该 函数 用 于 计算 小 波 菠 数 仿 导 数 输出 

Bt input 输入 变量 

gy output 输出 变量 

了 =- -1.75wsin(1.75x tw exp( ~ (t.°2)/2) -tk cos(1.75#t), # exp( (tr2)72) ; 


23.3.3 小 波 神经 网 络 预测 


用 训练 好 的 小 波 神经 网 络 预 测 短 时 交通 流量 ,并 以 图 形 的 形式 表示 小 波 神经 网 络 巴 测 


结果 。 


名 预测 输入 归 一 化 

x = mapninmax(" apply', input. test ', inputps): 
和 = 

* 网 络 预测 

for i=1:92 


x_test =xti,:)} 


for j= 


fork 
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23. 


net(j) = net(j7 + jx(jvic) * x_test(k) 
net_ab(j) = (net(j) ~ pCj)) /a(j)s 


end 
tenp = nyuorletCnet_ab(j)) 
for k=1:N 
Yk) = yk) + WijCk, j) # tenp ; 
end 
end 
yuce(i = y(k); 名 预测 结果 记录 
了 = Zeros(1,N): 和 输出 节点 初始 化 
net = zerosK1ym) 和 隐 含 节点 初始 化 
net_ab = zeros(1,n); 有 隐 售 节点 初始 化 
end 
% 网 络 预测 反 归 一 化 


Yan = napminmax(' reverse', yuce, outputps); 


Figure(1) 

Pilot(ynn,' r:) 

hold on 

Blot(output_testyb- ~) 
titie( 预 测 交 通 流量 ', fonteize? ,12) 
legend( 预 调 交通 流量 ,实际 交通 流量 ) 


xlabel( 时 间 点 》 
Yabel( “交通 流量 ) 
3.4 结果 分 析 
小 波 神 经 网 络 骨 训 练 数据 进化 100 次 ,训练 过 程 中 神经 网 络 预 测 误差 变化 趋势 如 图 23 - 4 
网 绵 进 化 过 稚 
140 [ 了 本 
1301| 
120 | 
110 
| 
一 全 mm 6 80 90 oo 
进化 次 数 


图 23-4 网 络 进化 过 程 
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YTIYN 沾 内 二 访 洲 这 这 沪 严 当 - 生 其 可 认 训 内 吨 丰 医 汪 陆 六 


所 示 。 
用 训练 好 的 小 波 神经 网 络 预 测 短 时 交通 流量 ,预测 结业 与 实际 交通 流量 的 比较 如 图 23-5 
所 示 。 


LE 


: 
本 人 时 


ey 


o A 下 i 
D1 2345678 9 1011121314151 7 11 20 21222324 
时 ih 


图 23-5 小 波 神经 网 络 巴 测 与 实际 情况 的 比较 
从 预测 结果 可 以 看 出 ,小 波 神经 网 络 能 够 比较 精确 地 预测 短 时 交通 流量 ,网络 预测 值 接近 
期 望 值 。 


23.4 时 例 扩 展 


小 波 神经 网 络 的 权 值 和 参数 修正 采用 梯度 学 习 算 法 ,进化 缓慢 并且 容 易 陷 人 最 小 ,可 以 采 
用 增加 动量 项 的 方法 提高 网 络 学 习 效 率 ,增加 动量 项 的 权 值 和 参数 修 让 公式 ,为 
wai 1) = wD A tl) TR Cwnili) — worli— 1)) (23-13) 
aili+1) = od) + Aa(i+1) RR (aD as 一 1)) (23—14) 
Bit1) = +AD(+1) + (bhD) — bi 1)) (23—15) 
式 中 疏 为 动量 项 学 习 速 率 。 增 加 动量 项 的 权 俏 学 习 程序 如 下 : 
Wi = Ri 了 一 lrl yd Nij+k# CWij_ 1 ~ Wij.2)s 
Wik = Wik — Lri « d_Hjk + kw CHjk, 1 — Rik.2); 
b=b-1lr2xdb+kx*(b 1-b 2); 
a=a-lr2weda+kw(alI-a2)5 
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24.1 本 例 得 晤 


24.1.1 模糊 数学 简介 


模糊 数学 是 用 来 描述 .研究 和 处 理事 物 所 具有 的 模糊 特征 的 数学 “模糊 "是 指 它 的 研究 对 
象 ,而 “数学 "是 指 它 的 研究 方法 。 

模糊 数学 中 最 基本 的 概念 是 隶属 度 和 模糊 求 属 度 函 数 。 共 中 ,隶属 度 是 指 元 素 4 属于 模 
糊 子 集 f 的 求 属 程度 ,用 py《 世 表示 , 它 是 一 个 在 [0,1] 之 间 的 数 。ps ww) 越 接近 于 0, 表示 六 
于 模糊 子 集 f 的 程度 越 小 ; 越 靠近 1 ,表示 a 属于/ 的 程度 越 大 。 

模糊 素 属 度 函 数 是 用 于 定量 计算 元 素 隶 属 度 的 函数 ,模糊 素 恬 度 隐 数 一 般 包括 三 角 呈 数 、 
梯形 明 数 和 正 态 咕 数 等 。 


24.1.2 T-S 模 糊 模 型 


-S$ 模糊 系统 是 一 种 自 适应 能 力 很 蝇 的 模糊 系统 ,该 模型 不 仅 能 自动 更 新 ,而 忆 能 不 断 
修正 模糊 子 集 的 隶属 函数 . 工 - S 模糊 系统 用 如 下 的 "if - then” 规 则 形式 来 定义 ,在 规则 为 R' 
的 情况 下 ,模糊 推理 如 下 : 

Ri zis Alsre isAss ris Althen yi = ps +t PT te + pirs 
其 中 ,如 为 模糊 系统 的 模糊 集 ;0 一 1,2,…,&) 为 模糊 系统 参数 ;y; 为 根据 模糊 规则 得 到 的 
输出 ,输入 部 分 ( 即 f 部分) 是 模糊 的 ,输出 部 分 ( 即 then 部 分 ) 是 确定 的 ,该 模糊 推理 表示 输出 


为 输入 的 线性 组 合 。 
假设 对 于 输入 量 z 一 [zi ,72,… ,4D 首先 根据 模糊 规则 计算 各 输入 变量 x 的 隶属 度 。 
pan, = Exp (x — O/B) j= 1 ki ln (24—1) 


式 中 ,0 ,如 分别 为 隶属 度 痕 数 的 中 心 和 宽度 ;4 为 输入 参数 数 ;7 为 模糊 子 集 数 。 
将 各 求 属 度 进行 模糊 计算 ,采用 模糊 算 子 为 连 乘 算 子 。 
wi a TR (Te) eu TI) i 1 ,2 (24 一 2) 


根据 模糊 计算 结果 计算 模糊 模型 的 输出 值  。 


wi Cpa + Pint et pira)t Do (24 -3) 
En 


Ey] 


24.1.3 T-S 模 糊 神 经 网 络 


工 -S 模 糊 神经 网 络 分 为 输入 层 、 模 糊 化 层 、 模 糊 规 则 计算 层 和 输出 层 等 四 居 。 输 和 人 层 与 
输入 向 量 x; 连接 ,节点 数 与 输入 向 量 的 维 数 相同 。 模 糊 化 层 采 用 求 属 度 函 数 (24 - 1) 对 输入 
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值 进行 模糊 化 得 到 模糊 隶属 度 值 gK。 模 糊 规则 计算 层 采用 模糊 连 乘 公式 (24 - 2) 计算 得 到 w。 
输出 层 采用 公式 (24 - 3} 计 算 模糊 神经 网 络 的 输出 。 
模糊 神经 网 络 的 学 习 算法 如 下 。 
(1) 误差 计算 
GA 《24 -4) 


式 中 ,ys 是 网 络 期 望 输出 ;y. 是 网 络 实际 输出 ;e 为 期 望 输出 和 实际 输出 的 误差。 
(2) 系数 修 目 
ae 


A (24 -5) 
藻 = Cy, Pe a (24 -6) 


式 中 ,pp 为 神经 网 络 系数 ;a 为 网 络 学 习 率 ;x 为 网 络 输 入 参数 ;ow' 为 输入 参数 隶属 度 连 乘积 。 
(3) 参数 修正 
Sh) = oD -Be (24 -7) 


0 = 一 8 演 (24 -8) 
式 中 ,ci .如 分 别 为 隶属 度 摧 数 的 中 心 和 宽度 。 
24.1.4 嘉陵 江水 质 评价 


水 质 评价 是 根据 水 质 评价 标 准 和 采样 水 样本 各 项 指标 值 ,通过 一 定 的 数学 模型 计算 确定 
采样 水 样本 的 水 质 等 级 。 水 质 评价 的 目的 是 能 够 判断 出 采样 水 样本 的 污染 等 级 ,为 污染 防治 
和 水 源 保护 提供 依据 。 

水 体 水 质 的 分 析 指 标 有 很 多 项 ,主要 包括 氨氮 溶解 氧化 学 需 氧 量 、 高 锰 酸 盐 指 数 .总 栈 
和 总 氮 六 项 指标 。 其 中 ,氨氮 是 有 机 物 有 氧 分 解 的 产物 ,可 导致 水 窜 营养 化 班 象 产生 ,是 水 体 
富 营 养 化 的 指标 。 化 学 需 氧 量 是 采用 强 氧化 剂 销 酸 钾 处 理 水 样 , 消 耗 的 氧化 剂量 是 水 中 还 原 
性 物质 多 少 的 指标 。 敲 鳃 酸 钾 指 数 同化 学 需 氧 量 相似 ,也 是 反映 有 机 污染 的 综合 指标 。 溶 解 
氧 是 溶解 在 水 中 的 氧 ,是 反映 水 体 自净 能 力 的 指标 。 总 楼 是 水 体 中 磷 的 浓度 含量 ,是 衡量 水 体 
富 营 养 化 的 指标 。 总 氨 是 水 体 中 氨 的 含量 ,也 是 衡量 水 体 富 营养 化 的 指标 。 各 项 指标 数值 对 
应 水 质 等 级 如 表 24 - 1( 地 表 水 环境 质量 标准 ) 所 列 。 

表 24-1 地 表 水 环境 质量 标准 


分 类 工 类 J 类 区 类 区 类 VY 类 
氨 钱 /mg 1 5 裤 0.15 0.50 1.0 5 2.0 
海 解 乞 /Cng -1 二 二 7.5 6.0 .0 3.0 2.0 

化 学 需 气 最 (mg 上) 二 15 15 20 30 40 
高 锋 版 村 指数 /me .1 1) 之 2.0 4.0 6.0 人 15 
总 酮 /mg L 0 裤 0.02 .10 0.20 0.30 0.40 
总 氨 /mg，L 1 有 0.20 0.50 10 | 15 2.0 
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采取 襄 陵 江水 体 样本 对 嘉陵 江水 质 进行 评价 ,采样 取水 口 为 重庆 市 嘉陵 江上 游 红 械 水 厂 、 

中 游 高 家 花园 水 广 和 下 游 大 溪 沟 水 厂 ,采样 时 间 跨 度 为 2003 年 到 2008 年 ,采样 频率 为 每 季度 
一 次 。 采 样 水 体 各 项 指标 变化 趋势 如 图 24 - 1~24 -6 所 示 。 


1 
| 


水 样 才 机 


本 i _ ， 
EEC 
时 (和 全 度 


图 24-1 氮气 含量 


求 样 指 坏 


VILYN 宫 刻 灰 祈 闪 陈 兴 汝 吕 寺 - 西 其 澡 罕 潮 币 卫 术语 辣 膏 北 
溶解 氢 含 量 【mg/iL) 


人 80347172 
时 间 ( 什 : 孚 度 ) 


图 24-2 溶解 氧 含量 
从 图 中 可 以 看 出 ,从 2003 年 开始 ,嘉陵 江上 游 .中 游 .下 游 各 项 水 质 分 析 指标 有 所 好 转 , 水 
污染 情况 得 到 改善 。 总 体 来 说 ,上 游 红 工 水 厂 采样 水 质 优 于 中 游 高 家 花园 水 厂 采 样 水 质 ,中游 
高 家 花园 水 厂 采样 水 质 优 于 下 游 大 溪 沟 水 厂 采 样 水 质 。 
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化 学 让 乌 导 全 员 cmgiL} 


澡 磊 琶 匀 指数 《mgiL) 


加 


名 8 


Ql i ee 
31 3233344142434451525354616283647172737481824364 
时 间 ( 人 .和 应 》 


图 24-3 化 学 需 气量 含量 


水 性 指标 
四 i 


本 
一 8 一 襄 交 花园 水 ! 
55| 全 人 江汉 本 ! 


1 时 网 ， 
31 3233344142434451625354616263647172737481658564 
时 间 ( 作 要 度 ) 


图 24~4 高 级 酸 钾 指 数 
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水 样 折 林 


ra 
一 加 水 三 
-人 人民 沟 水 i 


92| 


总 备 全 村 CmgyL) 


005 


EECEEETYIWETFTTIOEEEETRRCCIZIEEEEOOCLET 
时 间 (F 尝 讶 ) 


图 24-5 总 磷 含 量 
水 从 指标 


Ey 


总 氢 仿 征 (mg 作 } 


51 3344142434451526364616263647172737431828364 
时 间 (F 季度 


或 沿 评 装 灶 让 不 洛 二 HSYTIYJ 风 着 济 赴 族 沿 鉴 于 访 关 志 - 本 省 半 永吉 畦 也 本 慰 学 济 计 


图 24-6 总 氨 含 量 


轩 24.2 模型 建立 


基于 T-S 模糊 神 经 网 络 的 咒 陵 江水 质 评价 算法 流程 如 图 24 -7 所 示 。 其 中 ,模糊 神经 网 
络 构建 根据 训练 样本 维 数 确定 模糊 神经 网 络 输入 /输出 节点 数 .模糊 素 属 度 函 数 个 数 ,由 于 输 
人 数据 为 6 维 ,输出 数据 为 1 维 , 所 以 模糊 神经 网 络 结 构 为 6 - 12 - 1, 即 有 12 个 隶属 度 函 数 ， 
选择 7 组 系数 po~ps ,模糊 隶属 度 靖 数 中心 和 宽度 c 和 5 随机 得 到 。 
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桩 糊 神经 网 络 构 建 


模 灶 神经 网 络 训练 


系统 建 模 || 移 建 合适 的 模 精 | 


| 模 币 神经 网 络 模糊 神经 网 络 


神经 网 络 初始 化 [| 训练 
模糊 神经 网 络 巴 测 
模糊 神经 网 络 测试 了 
抽出 | 于 ”测试 数 据 | 
图 24-7 权 糊 神经 网 络 水 质 评价 算法 流程 


模糊 神经 网 络 训 练 用 训练 数据 训 
采用 了 等 隔 均匀 分 布 方式 内 插 水 质 指 


练 模糊 神经 网 络 , 由 十 水 质 评价 真实 数据 比较 难 找 , 所 以 
标 标准 数据 生成 样本 的 方式 来 生成 训练 样本 ,采用 的 水 


质 指标 标准 数据 米 自 表 24 - 1, 网 络 反 复 训 练 100 次 。 


模糊 神经 网 络 顶 测 用 训练 好 的 模 


24.3 编程 实现 


糊 神 经 网 络 评价 训 陵 江 采 样 水 水 质 等 级 。 


根据 模糊 神经 网 络 原理 ,在 MATLAB 中 编程 实现 基于 模糊 神经 网 络 的 水 质 评价 算法 。 


24.3.1 网 络 初 始 化 


根据 训练 输入 /输出 数据 维 数 确 定 网 络 结构 ,初始 化 异 糊 神经 网 络 求 属 度 咕 数 参数 和 系 
数 , 归 一 化 训练 数据 。 从 数据 库 文 作 datal. mat 中 下 载 训练 数据 ,其 中 input_train 和 output_ 


train 为 模糊 神经 网 络 训练 数据 ,input 
下 载 数据 


_test 和 output_test 为 模糊 神经 网 络 测试 数据 。 


load datal input_train output_train jnput_test output. test 


多 网络 结构 

I=6 输入 节点 
M=12; 和 输出 节点 
O=13 名 隐 含 节点 
maxgen = 1001 % 选 代 次 数 
名 初始 化 模糊 神经 网 络 参 数 


pO=0.3xones(M,1) 1p0 1= p01p0_2=p0 1 


pl=0.3x*ones(M,1);p1.1= pl;pl : 
p2= 0.3# ones(M,1);p2.1 = p25P2 : 
Ba = 0.3xones(M,1) 1p3 1 = p31p3.. 
pA=0.3xones(M,1) ,p41 = p4ip4 : 
9p5=0.3«ones(M,1) ;p51 = p51p5.: 
p6=0.3x*ones(M,1) ;ps 1=p6ip6 2 


= B6_1i 
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s$ 初 始 化 模糊 素 赂 度 参 数 

c=ltrands(M, Dc l=0i0 2=c 1 

b=1+zrands(M,I)ib 1=b:b 2=b 1; 


和 训练 数据 归 一 化 


[Linputn, inputpsl = mapminmaxK input. train); 


[outputn, outputps} = mapminnax( output. train); 


| 
i 24.3.2 模糊 神经 网 络 训练 
用 训练 样本 训练 模糊 神经 网 络 。 


[na] = size(input_train); 


车 
您 # 开始 选 代 
对 for id = 1;maxgen smaxgen 最 大 迁 代 次 数 
书 for k=1:m #%m 样本 个 数 
息 提取 训练 样本 
有 x= inputn( + rk); 
任 
何 
颖 Y 输入 参数 模糊 化 
间 for i=1:1 
可 for j=1;M 
国 Ui) = exp( ~ (x(1) ~ eCjsi) /bj D)s 
end 

end 

多 模糊 素 属 度 计算 

for i= 11: 

WD uD su(2 i 3D ud) so(5,i) x uC6, Ds 


end 


ddw = sium(w)s 


和 输出 计算 
for i=1:M 
Yi{i) = BO_1(i + pI_1Ci) x x(1) + p2_1(Ci) ¥ x(2) + p31Ci) x x(3) + p4_1(i) x x(d) + p5_1(i) 
1 # Xx(5) + p6_1Ci) « x(6); 
end 


IY 守 岂 本 澡 汪 这 认 


addyw = 0i 

addyw = yi W's 

yn(k) = addyw/addws 

etk) = outputn(k) - ya(k); 


多 系数 由 正人 秆 计算 
dp= zeros(M,1); 
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for i=1,M 
d_p(i) = xite* elk) x w(i)/addns 


end 


%b 的 修正 值 计算 
db=0#bl; 
for i=1:H 
for j=1:1 
dd bli) = xitew eCk) « (yi(i) # addw ~ addyw) # (xCj) - cisj))"2 wi/{b(i, -2% 
addwr2); 
end 


end 


%c 的 修正 值 计算 
for i=1:M 
for j=1:1 
dolij) = xitex elk) » Cyi(i) # addw — addyw) # 2# (xCi) — cisj)) wli)/(b(i,j) x 
addur2) } 
end 
end 


名 系数 修正 

pO= pO 1+ dp 
pl=pl_1+ dpxx(1)5 
p2= p21+ dLpyx(2)1 
Pp3=p3_1+ dprx(3); 
paA=p4 1+ dprx(d)s 
p5=p5 1+ d pxx(5)s 
PE=Pp6_ 1+ d pxx(6)s 


* 隶 属 度 参 数 修正 
b=b1+db; 


c=e ltde; 


end 


end 


24.3.3 模糊 神经 网 络 水 质 评价 


用 训练 好 的 模糊 神经 网 络 评价 嘉陵 江水 质 , 各 采样 口水 样 指标 值 存储 在 data2. mat 文件 
中 ,根据 网 络 蔬 测 值 得 到 水 质 等 级 指标 。 访 测 值 小 于 1. 5 时 水 质 等 级 为 1 级 ,预测 值 在 1.5 一 
2.5 时 水 质 等 级 为 2 级 ,预测 值 在 2. 5 一 3.5 时 水 质 等 级 为 3 级 , 蕊 测 值 在 3. 5~4.5 时 水 质 等 
级 为 4 级 ,项 测 值 大 于 4.5 时 水 质 等 级 为 5 级。 


下 载 数 据 ,hgsc 为 红 工 水 广 水 质 指标 ,gjhy 为 高 家 花园 水 质 指标 ,dxg 为 大 淄 沟 水 质 指标 
load data2 hgsc gjhy dxg 


-器 洲 彤 容 灯 剖 喜 用 二 YITLVJN 部 吕 市 流 疝 污 认 六 关 本- 瑟 攻守 二 都 由 号 直下 二 防 认 
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和 输入 数据 归 一 化 


inputn test = mapminmax('apply',zssz, inputps)} 


[nsm] = size(zssz)s 


外 网 络 预测 
for k=1:1:m 
inputn test(: ,kK)s: 


x 


输入 参数 模糊 化 
for i=1:I 
for j= 1: 
v1,j) = exp( ~ x) = cj,D))"2/b(j,1)); 
end 


end 


Eor i=1:M 
Wi) = uC1,i) x (2,1) xu3i) x uC i) # v5) xDCG iD) 
end 


addw= 04 


for i=1:M 
addw = addw + wii); 
end 


计算 输出 
for i=1:M 
Vi(i) = po 1Ci) + pl_1Ci) x x(1) + p2 1(i) # x(2) + p3_1Ci) x x(3) + ps4_1Ci) x x(4d) + p5_1 
Ci) wx(5) + p61C1) + x(6)s 
end 


addyw = 08 
for i1=1,M 

addya = addyw+ yi(i) ww 
end 


网 络 预测 值 
sz22b(k) = addyn/acdyy 
end 
* 预测 值 反 归 一 化 


szzbzt = mapminmnax' reverse', szzb,outiputps}s 


$ 根据 预测 值 确定 水 质 等 级 


第 24 章 宰 糊 神经 网 络 的 预测 算法 -嘉陵 江水 质 评价 /heiinn 


for i 1: 
证 gzzbzl(i)< =1.5 
szpj1(i) = 1 
elseif szzbzl(i)>1. 5&&szzbz1(i)< =2.5 
szpjl(i) = 2 
elseif szzbz1(i) >2, 5&&szzbz1(i)< = 3.5 
szpj1(i) = 3 
elseif szzbzlfi) >3, 588szzbzl(i)< = 4.5 
szpji(i) = 4 
else 
szpj1(1) = 5; 
end 
end 


24.3.4 结果 分 析 


用 训练 好 的 模糊 昼 经 网 络 评价 嘉陵 江 各 取水 Fl 2003 年 到 2008 年 每 季度 采样 水 水 质 等 
级 ,网 络 评价 结果 如 图 24 - 8 所 示 。 各 取水 口水 样 评价 等 级 如 表 24 - 2 所 列 。 
模糊 神经 网 络 水 


15 : ~ 
313233344142434451525354616263647172737461828384 
时 间 【 作 ,各 诬 ) 


24-8 模糊 神经 网 络 水 质 评价 
表 24-2 水 样 评价 等 级 


时 间 |2003,1|2003.2| 2003.3| 2003.4] 2004.1| 2oot 2 [2004. 3[ 2004.4[2005 1[2005 2 a005. 3 [2005 a 


红 开 水 三 3 3 4 3 2 1 2 3 2 2 3 
商家 花 障 水 三 | 人 4 3 3 3 3 2 4 3 1 2 2 3 


大 汝 淘 水 } 4 4 | 3 3 4 3 2 2 4 2 2 3 
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续 表 24-2 

全 2006.7 |2006.2]2005.3|2006.4 2007. 1| 2007.2 | 2007.3 .2007. 4 | 2008. 1 | 2008.2 | 2008. 3 |2008.4 
红 上 水 三 了 2 3 3 2 3 3 | 2 2 3 
高 家 花朵 水 上 3 2 3 | 3 3 3 3 3 3 | 2 3 
太 注 沟 水 | 3 1 2 2 3 3 2 2 3 3 3 | 3 


从 水 质 评价 等 级 可 以 看 出 带 阴 江上 ,中 ,下游 三 个 取水 11 水 样 水 质 在 2003 年 到 2004 年 间 
有 一 定 改 善 , 近 儿 年 变化 不 人 , 某 本 维持 在 2、.3 级 左右 。 次 体 米 说 ,上 游 水 质 评价 结果 优 于 下 
游 水 质 评价 结果 ,网 络 评价 水 质 等 级 变化 趋势 癌 真 实 指标 数据 变化 趋势 相符 ,说 明了 模糊 神经 
网 络 评价 的 有 效 必 。 


24.4 人 娄 例 扩展 


模糊 神经 网 络 是 按照 模糊 系统 原理 建 并 的 ,网 络 小 各 个 入 点 及 其 参数 均 有 - - 定 的 物理 合 
义 , 在 网 络 初始 化 的 时 此 参数 的 初始 值 可 以 根据 系统 的 模糊 或 定性 的 知识 来 确定 ,这 样 
网 络 能 够 很 快 收 策 。 在 本 案例 中 ,山本 训练 数据 由 《地 表 水 评价 标准 ?区 匀 线 性 内 揪 得 到 ,并 且 
根据 家 达 式 可 羽 看 到 .输入 数据 对 网 络 输 出 的 影响 部 是 相 问 的 .所 以 系数 了 的 初始 值 邦 相同 ， 
求 属 度 函 数 0e 随机 初始 化 得 到 。 
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一 一 网 络 人 侵 聚 类 


25.1 素 例 背景 


25.1.1 FCM 聚 类 算法 


混 类 方法 是 数据 挖 据 中 经 常 使 用 的 方法 , 它 将 物理 的 或 抽象 的 对 象 分 为 几 个 种 赂 ,人 每 个 种 
群 内 部 个 体 间 具 有 较 高 的 相似 性 ,不 同 群体 内 部 间 个 体 相似 性 边 低 。 模 糊 “ 均值 聚 类 算法 
(FECM,Fuzzy C -Mcan) 是 用 来 届 度 确定 每 个 元 来 局 十 菜 个 类 别 程度 的 -种 聚 尖 算 法 .FECM 
算法 把 = 个 数据 向 大 xx 分 为 < 个 模糊 类 ,并 求 每 类 的 代 类 中 心 ,从 商 使 模 稍 目标 藻 数 晤 小 , 模 
糊 染 类 日 标 函 数 为 


了 一 Dp | (25. 1) 


趟 中 ,ui 为 个 体 x, 属于 第 j 类 的 模糊 来 国度 ; 吕 为 模糊 权重 指数 ;w, 为 第 j 类 的 聚 类 中 心 ; 
和 的 计算 公式 为 


lz—wl 0 


一 “ (25 -2) 
“ 1 lr—vl =08R=j ” 


0 bzw =0 且 部 j 


v= (25- 3) 


FCM 聚 类 算法 迭代 过 程 如 下 : 

步骤 1: 给 定 类 别 数 c, 模 糊 权 重 指 数 mm。 

步 台 2: 初 始 计 类 中 心 v。 

步骤 3: 根 据 式 (25 - 2) 计 算 模 糊 求 属 度 算 际 ua 

步骤 4: 根据 式 (25 - 3) 计 算 伍 类 中 心 v。 

步 名 5: 根 据 式 (25 - 1) 计算 模糊 聚 类 日 标 值 ,判断 是 条 满 足 结 束 条 件 , 庙 吓 则 算法 终 省 ， 
杏 则 返回 步 骆 步骤 3。 

FCM 算法 最 终 得 到 了 模糊 求 局 度 矩 阵 w, 个 体 根 据 隶 属 庶 鱼 阵 每 列 最 大 元 烷 位 置 判 汤 个 
体 所 属 类 别 。 


25.1.2 广义 神经 网 络 
广义 辣 归 神经 网 络 是 径 向 基 呈 数 神经 网 络 的 一 个 分 支 , 是 一 种 基于 非 线 性 回归 理论 的 前 


/fins MATI.AB 神经 网 络 30 个 案例 分 析 


其 高 市 半 答 村 填写 种 院 比 


YTIY 风 让 内 未 启迪 害 党 沪 亚 对 
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贷 式 神经 网 络 , 广 义 神经 网 络 的 详细 介绍 参见 第 8 点 。 
25.1.3 网 络 入 侵 检 测 


网 络 人 偿 是 指 试图 破坏 计算 机 和 网 络 系统 资源 完整 性 .机密 性 或 可 用 性 的 行为 。 其 中 , 完 
整 性 足 指数 据 未 经 授权 不 能 改变 的 特性 ;机密 性 是 指 f 下 汇 害 给 非 授 权 用 户 、 实 体 或 过 程 ， 
或 供 共 利用 的 特性 ; 吓 用 性 是 可 被 授权 实体 访问 并 按 要 求 使 用 的 特性 。 入 侵 检 测 是 通过 计算 
机 网 络 或 计算 机 系统 中 的 若干 关键 点 搜集 并 对 其 进行 分 析 , 从 中 发 现 网 络 或 系统 中 是 否 
有 违反 安 企 策略 的 行为 或 人 侵 现 象 。 

常规 的 人 侵 检测 方法 可 以 按 检 测 对 象 .检测 方法 和 实时 性 等 方面 进行 分 类 。 其 中 , 按 检测 
对 象 可 以 分 为 基于 主机 的 人 全 检 测 系统 、 某 于 网 络 的 人 侵 检测 系统 和 混合 型 人 侵 检 测 
检测 方法 可 以 分 为 误 用 检测 和 异常 检测 ; 按 定 时 性 可 以 分 为 定时 系统 和 实时 系统 。 近 年 来 , 研 
究 人 员 叉 提出 了 一 些 新 的 人 侵 检 测 方法 ,比如 基于 归纳 学 习 的 人 侵 检测 方法 、 基 于 数据 挖掘 的 
入 侵 检 测 方法 .基于 神经 网 络 的 人 侵 检 测 方法 .基于 免疫 机 理 的 入侵 检测 方法 和 基于 代理 的 人 
侵 检测 方法 等 。 其 中 , 某 于 数据 挖 所 的 入侵 检测 方法 足 采用 数据 挖 据 中 的 关联 分 析 ,序列 模式 
分 析 .分 类 分 析 或 泽 类 分 析 来 处 理 数据 ,从 中 抽取 大 其 隐藏 安全 信息 ,抽象 出 用 于 判断 和 比较 
的 模型 ,然后 利用 模式 识别 人 侵 行为 。 


2S.2 模型 建立 


模糊 聚 类 虽然 能 够 对 数据 聚 类 挖掘 ,但 是 由 于 网 络 入 侵 特 征 数据 维 数 较 多 ,不 同 入 食 类 别 

间 的 数据 差别 较 小 ,不 少 入 侵 模式 不 能 被 准确 分 类 。 本 案例 采用 结合 模糊 聚 类 和 广义 神经 网 
络 回归 的 从 类 算法 对 入 侵 数 据 进 行 分 类 ,算法 的 流程 如 图 25 - ! 所 示 。 
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图 25-1 算法 流程 

算法 流程 中 各 个 模块 的 作用 如 下 ; 

模 焰 聚 类 模块 用 模糊 聚 类 算法 把 人 侵 数 据 分 为 ”类 ,并 得 到 每 类 的 带 类 中 心 和 个 体 懂 糊 
求 居 度 算 阵 4 

网 络 训练 初始 数据 选择 懂 块 根据 模糊 内 类 的 结果 选择 最 靠近 每 类 中 心 的 样本 作为 广义 神 
经 网 络 浓 类 训练 样本 。 首 先 求人 每 类 的 类 内 均值 mean,(i 一 1,2,…,n) ,然后 求解 每 类 中 所 有 样 
本 尽 到 中 心 值 mean(i 一 1,2 2 的 昨 讽 审 阵 ecent; (i 二 1,2,…,m) ,从 卫 离 策 阵 scent G 一 

2,…,n) 中 选择 路 离 最 小 的 m 个 样本 作为 组, 设 定 其 对 应 的 网 络 输 二 为 i。 这 样 就 得 到 了 了 

nXm 组 训练 数据 ,其 输 入 数据 为 网 络 人 侵 特征 数据 ,输出 数据 为 该 入 侵 行 为 所 属 入侵 类 别 。 

广义 神经 网 络 训 练 模块 用 训练 数据 训练 广义 神经 网 络 。 

广义 神经 网 络 顶 测 模块 用 训练 好 的 网 络 预 测 所 有 输入 样本 数据 X 的 输出 序列 Y。 

网 络 训练 数据 选择 模块 根据 预测 输出 把 入 侵 数据 重新 分 为 上 类 ,并 从 中 找 出 最 靠近 每 类 
中 心 值 的 样本 作为 训练 样本 。 首 先 按 照 网 络 预 测 输出 序列 了 把 样本 数据 XX 分 为 n 类 ,然后 求 
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出 每 类 内 所 有 样本 平均 值 mean, (i 一 1,2,…,n) ,求解 出 所 有 样本 X 到 中 心 值 mcan, (i 二 1， 
2，… on) 的 距离 矩阵 ecent (i 二 1， ?从 距离 抵 阵 cccnt; (i 一 1,2,…,n) 选 择 耻 离 最 小 的 
芭 个 样本 作为 一 组 , 设 定 其 对 应 的 网 络 输 出 为 i。 这 样 再 次 得 到 了 nXm 组 网 络 训练 数据 ,其 
输入 数据 为 网 络 人 侵 提取 数据 ,输出 数据 为 该 个 体 所 属 入 侵 类 别 。 

本 案例 的 数据 来 自 5 种 网 络 入 侵 数据 ,算法 的 日 的 是 能 够 对 这 5 种 入 侵 数 据 进行 有 效 
陈 类 。 


25.3 编程 实现 


根据 FCM 聚 类 算法 和 广义 神经 网 络 原理 ,在 MATLAB 中 编程 实现 基于 神经 网 络 的 聚 
类 算法 ,用 神经 网 络 对 5 种 网 络 人 侵 数据 进行 聚 类 ,以 达到 分 类 5 种 网 络 入侵 数据 的 目的 。 


25.3.1 MATLAB 函数 介绍 


本 案例 中 使 用 了 模糊 柴 类 天数 fcm() .广义 神经 网 络 训练 函数 newgrnn() 和 预测 函数 sim()， 
这 3 个 函数 的 形式 如 下 。 
1.、 fcm: 模 糊 聚 类 函数 
函数 坊 能 :对 数据 进行 模糊 聚 类 。 
函数 形式 ;,[CENTER, U, OBJ_FCN] = fem(DATA, N_CLUSTER} 
其 中 ,DATA 指 待 聚 类 数据 ;N_CLUSTESR 指 聚 类 类 别 数 自 ;CENTER 指 柴 类 中 心 ;U 指 样 本 
隶属 度 算 阵 :OBJ_FCN 指 聚 类 日 标 丙 数值 。 
2. newgrnn: 广 义 神经 网 络 训练 函数 
函数 功能 :用 训练 数据 训练 广义 神经 网 络 。 
函数 形式 :net = newgrnn(P,T,SPREAD) 
其 中 ,P 指 训练 输入 数据 ;T 指 训练 输出 数据 ;SPREAD 指 网 络 节 点 密度 ;net 指 训练 好 的 广义 
神经 网 络 。 
3 sim: 广 义 神经 网 络 预测 函数 
肾 数 功能 :用 训练 好 的 广义 神经 网 络 预 测 输 出 。 
函数 形式 :Y 一 sim(net,P) 
其 中 ,net 指 训练 好 的 网 络 ;P 指 网 络 输入 ;Y 指 预测 输出 。 


25.3.2 模糊 聚 类 


用 MATLAB 中 FCM 函数 聚 类 网 络 人 促 数 据 , 册 于 有 5 类 人 侵 模 式 ,所 以 把 数据 分 为 5 
类 。 入 侵 数 据 和 入 侵 类 别 都 存储 在 netattack. mat 文件 中 ,其 中 ,入 侵 数据 在 1 到 38 列 ,人 侵 
类 别 在 第 39 列 。 


$$ 数据 下 载 
load netattacki 


Pl = netattack; 
T1 = P1(:,39)'; 入 人 伐 模 式 类 别 
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B1(:,39) =[]; s% 删除 类 别 列 


人 侵 数 据 维 数 
TR1,C1] = size(P1)s 
csum = 20 和 每 类 提取 数据 多 少 


*# 模糊 聚 类 
data= 全 和 


# data 为 待 聚 类 数据 ,center 为 诊 类 中 心 ,0 为 模 类 隶属 度 ,obj_fcn 为 模糊 聚 类 目标 
[eenter,U,obj_ fcn] = fen(data,5); 


名 利用 个 类 结果 对 数据 分 类 

for i=1:R1 
Lvalvue, idx] = max(UC; iD) 
al(i = idxs 

end 


模糊 隧 类 结果 统计 
Confusion Matrix_FCM = zeros(6,6); 
Confusion Matrix FCM(1,:) = [0:5]} 
Confusion_Matrix_FCH(:,1) = {10:5 
for nf = 1:5 
for nc=1:5 
Confusion Natrix FCM(nf +1,nc+1) = 1ength(find(altfind(T1 == nf)) == nc)), 
end 
end 


25.3.3 训练 数据 初始 选择 


根据 模糊 聚 类 结果 ,从 等 一 类 中 选择 最 靠近 类 内 中 心 的 20 组 数据 作为 神经 网 络 训练 
数据 。 


“根据 京 类 结果 对 数据 分 类 , 找 出 每 类 的 均 亿 中 心 
centl = PL(Efind(alt == 1)，:)5centl = mean(Cent17 
cent2 = Pl(find(al == 2),:)1cent2 = mean(cent2)5 
cent3 = P1(find(al == 3),:) :cent3 = meankcent3)5 
cent4 = Pl(find(al == 4)，:)#cent4 = mean(cent4); 
cent5 = P1(Find(al ==5),:) ;cent5 = meanKcent574 


计算 类 内 个 体 同 均值 中 心 距 高 

for n= 1:Rl; 
ecent1(n) = norm(Pl(n,:) ~ cent1)y 
ecent2(n) = norm(Pi(n, :) ~ cent?2)} 
ecent3(n) = norm(Pl(n, :) - Cent3)+ 
ecent4(n) = norm(Pl{(n, :) ~ cent4) 
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ecent5(n) = norm(Pl(n,:) - cent5); 


end 


入 从 每 类 中 选择 20 个 离 均 信 中 心 最 近 个 体 构成 神经 网 络 训 练 数据 
for n=1;csum 
[va mel] = min(ecent1); 
[va me2] = min(ecent2); 
Eva me3] = min(ecent3); 
[va med] = mintecent4)1 
[va me5] = nin(ecent5)s 
ecntl(n,:) = Pl(mel(1)，,:)recentl(mel(1)) = [itcltn) = 1; 
ecnt2(n,:) = Pl(me2(1), :) iecent2(me2(1)) = [jitc2(n)y = 2; 
ecnt3ln,:) = Pl(me3(1), +) ,ecent3(me3(1)) = [J]:tca(n) = 31 
ecntd(n,:) = Pi(nme4(1),:) ;ecentd(medt1)) = [ytcd(n) = 43 
ecnt5{n,:) = Pl(ne5(1), ;) recent5(ne5(1)) = []itc5(n) = 5; 
end 


P2= [ecntliecnt2yecnt3tecnt4iecnt5];T2 = [tcl,tc2,tc3vtc4,tc5] 


25.3,4 广义 神经 网 络 聚 类 


先 用 训练 数据 训练 广义 神经 网 络 ,使 网 络 具 有 人 侵 模式 分 类 能 力 , 然 后 用 训练 好 的 广义 神 
经 网 络 预 测 样本 所 届 类 别 , 并 根据 玩 测 结果 对 样本 重新 分 类 ,其 中 ,预测 结果 小 于 1.5 的 为 第 
1 类 ,人 在 1.5 一 2.5 的 为 第 2 类 ,在 2.5 一 3.5 的 为 第 3 类 ,在 3.5~4.5 的 为 第 4 类 ,大 于 4.5 的 
为 第 5 类。 最 后 根据 样本 重新 分 类 结果 计算 每 类 中 心 ,并 重新 选择 离 中 心 最 近 的 数据 作为 网 
络 训练 数据 。 按 上 述 步 骤 反 复 迭 代 聚 类 。 


s# 迁 代 聚 类 
for nit = 1:10 


名 网 络 训练 
net = newgrnn(P2',T2,50); 


$ 网 络 预 测 
a2= sin(net,P1) 3 


和 根据 政 测 结果 分 类 
a2lfind(a2< = 1.5)) = 
a2(find(a2>1. 5ga2< = 2.5)) = 2; 
a2(find(a2>>2.55a2<< = 3.5)) = 3; 
a2(find(a2>3.58a2< = 4.5)) = 4; 
a2(find(a2>4.5)) = 54 
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end 


计算 每 类 中 心 

centl = Pl(find(a2 == 1),:)1centl = mean(centl)i 
cent2 = Pi(find(a2 == 2),: 
eent3 = BL(find(a2 == 3) ,1):cent3 = mean(cent3); 
cent4 = P1(find(a2 
cent5 = Pl(find(a2 == 5),:)icentS = mean(cent5)s 


icent2 = mean(Cent2)1 


4 ，:)icent4 = mean(centd); 


# 计算 类 内 样本 到 中 心 距 离 
forn=1:R1 
ecent1(n) = norm(Pl(n,;) ~ cent1); 
ecent2(n) = norm(Pl(n, ;) - cent2)! 
ecent3(n) = norm(Pi(n,:) - cent3) 1 
ecent4(n) = norm(Pl(n, +) - centd) 
ecent5(n) = norm(Pl{n, +) ~ cent5) 


end 


# 根 据 距离 重新 选择 训练 数据 


for n= 1:csum 


[va mel3= min(ecent1); 


[va me3] = min( ecent3); 


[va me4] = min(ecentd)s 
[va me5] 


in(ecent5) 
)》 = Pt(mel(1)，:)4ecentl(ael(1))》= [itctCn) = 1; 


[J;te3tn. 
= Pl(me4(1),:)iecent4(me4(1)) =[];tc4(n) 
= PL(me5(1)》,:)#ecent5(me5(1)) = []itc5(n)y = 5 


end 


p2 = [ecntliecnt2recnt3fecntdiecnt5];T2 = [tcl,tc2,tc3,tcdvtc5]; 


25,3.5 结果 统计 
统计 广义 神经 网 络 聚 类 的 每 类 样 不 在 实际 类 别 中 的 分 布 数 莽 。 


结果 统计 

Confusion_ Hatrix. GRNN = zeros(6,6) 
Confusion Matrix GRNNC1,:) = [0:5]; 
Confusion Matrix_GRNNC: ,1) = [0:5]; 
%a2 为 鸯 络 预测 分 类 ,Tl 是 实际 分 类 


for nf = 


for nc=1:5 


Confusion Matrix GRNN(nf +1,nc+1) = length(find(a2(find(T1 == nf)) == nc))1 
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end 


end 
算法 反复 计算 10 次 ,最 后 得 到 的 聚 类 结果 太 现 种 汇 类 方法 的 比较 如 袁 25 -1 所 列 。 其 
中 ,每 一 行 均 表示 素 类 算法 得 到 每 类 样本 在 实际 各 入侵 类 别 中 的 分 布 数量 。 
表 25~1 聚 类 结果 比较 


模糊 察 类 广 文 神经 网 络 模糊 桶 类 
入 但 类 划 内 类 案 类 | 限 炎 乐 类 到 类 困 类 么 类 素 类 计 类 | 案 类 
结 来 1 | 结果 2 | 结果 3 | 结果 4 | 结果 5 | 镇 果 1 ， 结果 了 结果 3 | 结果 4 | 结 染 5 
| 实 隐 入 仇 类 别 1 6 1211 332 14 0 31 T1171 345 16 o | 
实际 入 侵 类 别 2 0 0 0 站 2.097 0 a 0 站 2097 
实际 人 侵 类 别 3 0 0 0 0 130 39 2 1 1 857 
| 实际 入 恨 奖 4 4 0 站 0 558 658 0 0 vo 站 
| 实际 入 侵 类 别 5 0 0 0 0 52 52 0 | 0 0 0 


从 表 25 一 1 中 可 以 看 出 ,对 于 网 络 人 侵 数 据 ,模糊 聚 类 没有 实现 对 数据 的 有 效 分 类 ,只 类 
结果 没有 把 类 别 2 到 类 别 5 样本 区 分 开 来 ,广义 神经 网 络 模糊 聚 类 有 效 分 类 了 类 别 1 和 类 唱 
2 的 样本 ,类 别 3 到 类 别 5 没有 有 效 分 类 ,但 是 同 模糊 聚 类 相 比 , 育 类 结 呆 有 所 改善 。 


25.4 过 例 扩 展 


本 案例 结合 了 模糊 聚 类 的 无 导师 聚 类 和 广义 神经 网 络 的 有 导师 学 习 芒 能 完成 了 对 未 知 网 
绪 人 侵 数据 的 聚 类 ,广义 神经 网 络 所 起 的 作用 为 训练 后 分 类 所 有 人 侵 样 本 。 除了 广义 神经 网 
络 以 外 ,还 可 以 选择 BP 神经 网 络 ,RBF 神经 网 络 等 。 虽然 两 种 方法 结合 的 分 类 效果 比 模糊 聚 
类 要 好 ,但 是 还 应 该 看 到 ,该 方法 没有 有 实现 所 有 样本 有 效 分 类 ,在 第 29 音 中 将 继续 探讨 网络 人 
侵 聚 类 问题 。 
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第 20 章 粒子 群 优化 算法 的 寻 优 算法 
一 一 非 线性 函数 极 值 寻 优 


26.1 染 例 特 晤 


26.1.1 PSO 算法 介绍 


粒子 铬 优化 算法 (PSO,Particle Swarm QOptimization) 是 计算 智能 领域 ,除了 蚁 群 算法 , 鱼 
群 算法 之 外 的 - -种 群体 智能 的 优化 算法 ,该 算法 最 早 由 Kennedy 和 Eberhart 在 1995 年 提出 
的 。PSO 算法 源 于 对 乌 类 捕食 行为 的 研究 , 乌 类 捕食 时 ,得 只 乌 找 到 食物 最 简单 有 效 的 方法 
就 是 搜 杂 当前 距离 食物 最 近 的 总 的 周 于 区 域 。 

PSO 算法 是 从 这 种 生物 种 群 行为 特征 中 得 到 启发 并 用 于 求解 优化 问题 的 ,算法 中 每 个 粒 
子 都 代表 问题 的 一 个 潜在 解 ,每 个 粒子 对 应 . -个 由 适应 度 函 数 决定 的 适应 度 值 。 粒 子 的 速度 
决定 了 粒子 移动 的 方向 和 距离 ,速度 随 自 身 及 其 他 粒子 的 移动 经 验 进行 动态 调整 ,从 而 实现 个 
体 在 可 解 空间 中 的 寻 优 。 

PSO 算法 首先 在 可 解 空间 中 初始 化 一 群 粒子 ,得 个 粒子 都 代表 极 值 优化 问题 的 … 个 证 在 
最 优 解 ,用 位 置 .速度 和 适应 度 值 项 指标 表示 该 粒子 特征 ,适应 度 值 册 适应 度 淫 数 计算 得 到 ， 
其 值 的 好 坏 表 示 粒 子 的 优 劣 。 粒 子 在 解 空 间 中 运动 ,通过 跟踪 个 体 骸 值 Pbest 和 梯 体 极 值 
Gbest 更 新 个 体位 置 , 个 体 极 值 Pbest 是 指 个 体 所 经 亡 位 置 中 计算 得 到 的 适应 度 值 最 优 位 置 
群体 极 值 Gbest 是 指 种 群 中 的 所 有 粒子 搜索 到 的 适应 度 最 优 位 置 。 粒子 待 更 新 一 次 位 置 , 就 
计算 一 次 适应 度 值 , 并 且 通 过 比较 新 粒子 的 适应 度 值 和 个 体 极 值 .群体 极 值 的 适应 度 值 更 新 个 
体 极 值 Pbest 和 群体 极 值 Gbest 位 图 。 

假设 在 -个 DD 维 的 搜索 空间 中 ,由 个 粒子 组 成 的 种 群 X=CXi,X;,…,X,), 共 中 第 i 个 
粒子 表示 为 一 个 局 维 的 向 量 ,一 (zo41xa ,… zw)" ,代表 第 i 个 粒子 在 D 维 搜索 空间 中 的 位 
性, 亦 代表 问题 的 一 个 潜在 解 。 根 据 日 标 两 数 即 HJ 计算 出 每 个 粒子 位 置 X; 对 应 的 适应 度 值 。 
第 i 个 粒子 的 速度 为 V, 二 (Va ,Va ，… ,Vn)7, 其 个 体 极 信 为 P; 二 《Pa ,Pa，…，,Po)" ,种 群 的 全 
局 极 值 为 P= (Pa ,Poem…,Puo)7。 

在 每 - -次 迭代 过 程 沾 , 粒 子 通 过 个 体 极 值 和 全 局 极 值 更 新 自身 的 速度 和 位 置 ,更 新 公式 
如 下 : 

VE = woVy on(p’y — X4) ter:( Ph — X%) (26 -1) 

XY = XLV (26 -2) 

式 中 ,为 惯性 权重 ;4 二 1,2,… ,Dii 王 1,2,…,n; 为 当前 过 代 次 数 ;Va 为 粒 于 的 速度 ;cl 和 cs 

为 非 负 的 常数 , 称 为 加 速度 因子 ;ri 和 7; 为 分 布 十 [0,1] 之 间 的 随机 数 。 为 防止 粒子 的 育 日 搜 
索 ，- 般 建议 将 其 位 置 和 速度 限制 在 - - 定 的 区 间 T 一 Xs Xos] [一 Vox s Vmax]。 
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26.1.2 非 线性 函数 
本 案例 如 优 的 非 线 性 函数 为 


y= ap|-o.2 LY exp(T Deost2rz))+o te (26 -3) 
Np 各 


当 c 一 20,e 一 2.712 82,n 二 2 时 ,该 函数 为 Ackley 函数 ,函数 图 撒 如 图 26 - 1 所 水 。 
尊 数 图 形 


图 26-1 Ackley 函数 图 形 
从 函数 图 形 可 以 看 出 ,该 画 数 有 很 多 局 部 极 小 值 点 ,最 小 值 点 为 0, 最 小 值 位 置 为 (0,0) 。 


26.2 模型 建立 


基于 PSO 算法 的 函数 极 值 寻 优 算法 流程 图 如 图 26 - 2 所 示 。 


{ 四 
迷 了 和 下 | | 拉 于 运 应 上 || 要 个 体 极 们 | [流下 新 | -| 各 于 适应 | 。 [个体 术 从 和 时 | 。 傅 中 定 \、Y| 二 
度 初 始 化 | | 度 值 计算 | | 和 尾 体 极 值 位 置 更 新 度 秆 计算 | | 体 极 值 更 新 上 条件, 9 


“ 游 沿 立交 灯 或 下 生 于 HIYTEV 风 六 囊 市 路 岂 攻 兰 六 天 二 -本 源 半 市 吉 时 妇 业 中 地 溢 济 


图 26-2 算法 流程 
其 中 ,粒子 和 速度 初始 化 对 初始 粒子 位 置 和 粒子 速度 赋予 随机 值 。 根据 式 (26 - 3) 计 算 粒 子 适 ” 医 到 
应 度 值 。 根 据 切 始 粒子 适应 度 值 确定 个 体 极 值 和 客体 极 值 。 根据 式 (26 ~ 1) 与 式 (26 - 2) 更 新 
粒子 速度 和 位 置 。 根 据 新 种 群 中 粒子 适应 度 值 更 新 个 体 极 值 和 群体 极 值 。 
对 于 本 案例 来 说 ,适应 度 函 数 为 Ackley 明 数 表达 式 ,适应 度 值 为 函数 值 。 种 群 粒子 数 为 
20 ,每 个 粒子 的 维 数 为 2, 算 法 迭代 进化 次 数 为 100。 


hu 
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26.3 编程 实现 


根据 PSO 算法 原理 ,在 MATLAB 中 编程 实现 基于 PSO 算法 的 函数 极 值 寻 优 算法 。 


26.3.1 PSO 算法 参数 设置 


设置 PSO 算法 的 运行 参数 。 
清空 运行 环境 


cle 
clear 


速度 更 新 参数 
cl = 1.49445; 
c2 = 1.494455 


maxgen = 1003 争先 代 次 数 
sizepop = 205 名 种 群 规模 


名 个 体 和 连 度 最 大 最 小 值 
Popnax = 5;Ppopnin™= — 5s 
Voax = 13Vmin= -1 


26.3.2 种 群 初始 化 


随机 初始 化 粒子 位 置 和 粒子 速度 ,并 根据 适应 度 函 数 计算 粒子 适应 度 值 。 


for 1 = 11sizepop 


随机 产生 一 个 种 群 
pop(i,:) =5*rands(1,2); 初始 化 粒子 
WCGiy 1) = rands(1,2)5 多 增 始 化 速度 


计算 粒子 适应 度 秆 
fitness(i) = fun(pop(i,:))s 
end 


适应 度 函 数 代码 如 下 


function Y = fun(x) 

$ 该 函数 计算 粒子 适应 度 值 

x imput 输入 粒子 位 置 
sy output 粒子 适应 度 人 


Y= -20* exp( ~ 0.2+4sqrt((x(1)"2 + x(2)°2)/2)) - expl{cos(2 # pix x(1)) + cos(2 # pi# x(2)))/2) 
+ 20 + exp(1); 
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26.3.3 寻找 初始 极 什 
根据 初始 粒子 适应 度 值 半 找 个 体 极 值 和 群体 极 值 。 


[bestfitness bestindex] = min(fitness)} 


Zhest = pop(bestindex, :5 负 群 体 极 值 位 置 
gbest = pops 个 体 极 值 位 置 
fitnessgbest = fitnessy 个 体 极 值 适应 度 什 
fitnesszbest = bestfitness; 群体 极 值 适应 度 值 


26.3.4 和 迭代 寻 优 


根据 公式 (26 - 1) 与 式 (26 -2) 更 新 粒子 位 置 和 速度 ,并 出 根据 新 粒子 的 适应 度 值 更 新 个 
体 极 值 和 群体 极 值 。 


名 选 代 寻 优 
for i=1;:maxgen 
粒子 位 置 和 速度 更 新 


for j= 1:sizepop 


汪 速 度 更 新 


VD Wi,:) + el rand# (ghest(j,:) — pop(j,:)) +¢2 + rand* (zbest -pop(j,:))5 


VOj find(V(j, ;) > Vmax)) = Ymax; 
Vj find (VO, 1) < Vmin)) = Wain; 


$ 粒子 更 新 

Bop(j,:) = popCi,:) +0,5x VC,:): 

popl jfind(pop(j,:)> popnax)) = popttaxy 
Pop(j, findt pop(j, :) <<popnin)) = popnin; 


* 新 粒子 适应 度 值 
fitness(j) = fun(pop(j,: 


end 


个体 极 值 和 群体 极 值 更 新 
for j= 1:sizepop 


名 群体 极 值 更 新 

if fitness(j) < fitnessgbest(]) 
gbest(j,:) = pop(j,3)} 
fitnessgbest(j) = fitness(j); 

end 


个 体 极 值 更 新 
证 fitness(j) < fitnesszbest 
zbest = pop(i,:)s 
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fitnesszbest = fitness(j)s 
end 


end 


名 每 代 最 优 值 记录 到 yy 数组 中 
(iD = fitnesszbesti 


end 
26.3,5 结果 分 析 
PSO 算法 反复 迭代 100 次 , 画 出 等 代 最 优 个 体 适 应 度 值 变化 图 形 。 

车 $ 画 出 每 代 最 优 个 体 适 应 度 什 
您 plot(yy) 
对 title(' 最 优 个 体 适应 度 值 ',' fontsize',12)， 
书 xlabel( 进 化 次 数 ',' fontsize',12) ;ylabel(' 适 应 度 值 ', fontsize',12); 
内 
这 最 优 个 体 适 应 度 值 变化 如 图 26 - 3 所 示 。 
任 坡 优 个 体 适应 度 
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图 26-3 最 优 个 体 适应 度 值 { 一 } 


最 终 得 到 的 最 优 个 体 适 应 度 值 为 0.032 8, 对 应 的 粒子 位 置 为 (0. 008 2, 一 0. 006 7) ,PSO 
算法 寻 优 得 到 最 优 值 接近 函数 实际 最 优 值 ,说 明 PSO 算法 具有 较 强 的 函数 极 值 寻 优 能 力 。 
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26.4 业 例 扩展 


26.4.1 自 适应 变异 

粒子 梯 优化 算法 收敛 快 ,其 有 很 强 的 通用 性 ,但 同时 存在 普 容 易 早熟 收敛 .搜索 精度 较 低 、 
后 期 迭代 效率 不 高 等 缺点 。 借 鉴 遗 传 算法 中 的 变异 患 想 , 在 PSO 算法 中 引入 变异 操作 , 即 对 
某 些 变量 以 一 定 的 概率 重新 初始 化 。 变 异 操作 拓展 了 在 迁 代 中 不 断 缩 小 的 种 群 搜索 空间 ,使 
粒子 能 够 跳出 先前 搜索 到 的 最 优 值 位 置 ,在 更 大 的 空间 中 开展 搜索 ,同时 保持 了 种 群 多 样 性 ， 
据 商 算法 寻找 到 更 优 值 的 可 能 性 。 因 此 ,在 普通 粒子 群 算法 的 基础 上 引入 了 简单 变 界 算 子 , 基 


本 思想 就 是 粒子 每 次 更 新 之 后 ,以 一 定 概率 重新 初始 化 粒子 ,MATILAB 代码 如 下 所 水 : 
if rand>>0.9 
k= ceil(2 x rand); 
Bop(j,k) = rand; 
end 
算法 参数 设置 和 上 面 的 例子 一 样 , 进 化 过 程 中 最 优 个 体 适应 度 值 变化 如 图 26 -4 所 示 。 
最 优 个 体 拓 应 度 
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图 26-4 最 优 个 体 适 应 度 值 (二 ) 
最 终 得 到 的 最 优 个 体 适应 度 值 为 0.006 3, 对 应 的 粒子 位 置 为 (0. 002 0,0. 000 8) ,从 结果 
中 可 以 看 出 , 带 空 异 算 子 的 粒子 群 算法 能 够 跳出 局 部 极 小 值 点 ,得 到 更 优 的 结果 。 
26.4.2 惯性 权重 的 选择 


惯性 权重 w 体现 的 是 粒子 当前 速度 多 大 程度 上 继承 先前 的 速度 ,Shi, Y 最 先 将 惯性 权重 
中 引入 到 PSO 算法 中 ,并 分 析 指 出 一 个 较 大 的 惯性 权 值 有 利于 全 局 搜索 ,而 一 个 较 小 的 慨 性 
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权 值 则 更 利于 局 部 搜索 。 为 了 更 好 地 平衡 算法 的 全 局 搜索 与 贞 部 搜索 能 力 ,其 提出 了 线性 递 
减 惯 性 权重 (LDIW .Linear Decreasing Inertia Weight), 即 
wRY 一 ar 一 《os 一 aond)( 了 mr 一 到 7 T eas 
式 中 ,os 为 初始 惯性 权重 ;as 为 达 代 至 好 大 次 数 时 的 惯性 权重 ;为 当前 选 代 代 数 : 了 Te 
大 选 代 代数 。 - 般 来 党 ,惯性 权 值 取 值 为 wr 二 0.9、wew 一 0.4 时 算法 性 能 最 好 。 这 样 , 随 着 
近代 的 进行 ,惯性 权重 由 0. 9 线性 递减 至 0.4, 先 代 初 期 较 大 的 惯性 权重 使 算法 保持 了 较 强 的 
全 局 搜索 能 力 ,而 迭代 后 期 较 小 的 惯性 权重 有 利于 算法 进行 更 精确 的 局 部 六 发 。 线 性 惯性 权 
重 只 是 一 种 经 验 做 法 ,常用 的 惯性 权重 的 选择 还 包括 如 小 儿 种 : 
wk) = am 一 《om 一 oa) CT ar)? 


ea CQ/ Ta 一 《天 /了 ass) )》 


WR) 一 asar 二 《san 一 


wk) 一 ed (asargaa Toe 


26.4.3 动态 粒子 群 算法 


基本 PSO 算法 在 很 多 领域 的 静态 优化 问题 中 得 到 了 广泛 的 应 用 ,但 是 在 实际 环境 中 避 到 
的 问题 一 般 比 较 复杂 , 且 御 往 随 时 间 变化 ,也 就 是 说 问题 占 优 解 是 动态 改变 的 。 例 如 ,在 物流 
配送 过 程 中 .由 于 受到 客户 优先 级 交通 状况 等 因素 变化 的 影响 ,物流 配送 问题 也 相应 地 发 生 
变化 。 对 于 这 种 需要 跟踪 动态 极 值 的 问题 ,基本 PSO 算法 难以 解决 。 为 了 跟踪 动态 极 值 ,最 
常用 的 方法 是 对 基本 PSO 算法 做 两 方面 的 关键 改进 :第 一 是 引入 探测 机 制 , 使 种 玫 或 粒子 获 
得 感知 外 部 环境 变化 的 能 力 ; 第 一 是 引信 响应 机 制 ,在 探测 到 环境 的 空 化 后 ,采取 某 种 响 炭 方 
式 对 种 群 进行 更 新 ,以 适应 动态 环境 。 可 以 采用 带 敏感 粒子 的 PSO 算法 实现 动态 环境 寻 优 ， 
带 敏感 粒 了 的 PSO 算法 在 环境 中 随机 选择 一 个 或 若干 个 位 各, 这些 位 置 称 为 敏感 粒子 ,每 次 
迁 代 中 计算 敏感 粒 季 的 适应 度 值 , 当 发 现 适 应 度 值 变 化 时 ,认为 环境 已 发 生变 化 ,敏感 粒子 适 
应 度 值 变化 超过 一 定 阔 值 时 PSO 算法 作出 响应 。 响 应 的 方式 是 按 比例 重新 初始 化 粒子 位 置 
和 粒子 速度 。 
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27.1 娄 例 营 景 


27.1,1 遗传 算法 概述 


遗传 算法 苦 模拟 达尔 文 牛 物 进化 论 的 自然 选择 和 泪 传 学 机 理 的 和 牛 物 进化 过 程 的 计算 模 
前 ,是 -种 道 过 模拟 自然 进化 过 程 搜索 鼠 优 解 的 方法 。 它 最 初 由 美国 Michigan 大 学 的 
了 Holland 教授 提出 ,1967 年 ,美国 大 学 Holland 教授 的 学 牛 Bagley 在 其 博士 论文 中 首次 提出 
了 “ 扯 传 算法 ”“ 词 ,他 发 展 了 人 复制, 交叉、 变异. 显 件 、 倒 位 等 遗传 算 子 。EHolland 教授 用 遗传 
算法 的 思想 对 自然 和 人 工 白 适 应 系统 进行 了 研究 ,提出 了 遗传 算法 的 某 本 定理 -模式 定理 
《schema rheorem)。20 世纪 80 年 代 , Holland 教授 实现 了 第 一 个 基于 遗传 算法 的 机 器 学 习 系 
统 , 于 创 了 遗传 算法 的 机 器 学 习 的 新 概念 。 

址 传 算 法 模拟 了 自然 选择 和 遗传 中 发 生 的 复制 、 交 义 和 变 异 等 现象 ,从 任 -初始 群体 
《population) 出 发 ,通过 随机 选择 、 交 灵 和 变异 操作 ,产生 - - 群 更 适应 环境 的 个 体 ,使 群体 进化 
到 搜索 空间 中 越 来 战 好 的 区 域 ,这 样 一 代 代 地 不 断 繁衍 进化 ,最 后 收 全 到 群 丰 适应 环境 的 
个 体 Lindividual), 求 得 问题 的 最 优 解 。 遗 传 算法 的 基本 计算 流程 如 图 27 - 1 所 示 。 

让 传 算法 是 从 代表 问题 可 能 潜在 的 解 集 的 一 个 种 - 

群 (population) 开 始 的 ,市 一 个 种 群 则 上 由 经 过 基因 
(gene) 编 码 的 一 定数 日 的 个 体 (individual) 组 成 。 产生 初始 种 妊 
此 ,第 一 步 害 要 实现 从 表现 型 到 基 央 蜡 的 映射 , 即 编码 T 

[ 作 。 初代 种 冬 产 个 之 后 ,按照 适 者 生存 和 优胜 劣 汰 RT | 让 
的 原理 , 逐 代 (generation) 演 化 产生 出 越 来 越 好 的 近似 
解 ,在 每 - 代 , 根 据 呵 题 域 中 个 体 的 适应 度 (fitness) 大 
小 选择 个 体 , 并 借助 于 自然 遗传 学 的 遗传 算 子 (genetic 
operators) 进行 组 合 交叉 和 变异 , 产 牛 出 代表 新 的 解 集 
的 种 群 。 这 个 过 程 将 导 敏 种 群像 自然 进化 一 样 ,后 后 
代 种 群 比 前 代 更 加 适应 环境 ,本 代 种 群 中 的 最 优 个 体 
经 过 解码 (decoding) 可 以 作为 问题 近似 最 优 解 。 图 27-」 首 传 算法 基本 计算 流程 

进 传 算法 有 三 个 基本 操作 ;选择 (selection) ,交叉 
《crossovcr) 和 变异 (mutation) 。 

(1) 选 漳 

选择 的 日 的 是 为 了 从 当前 群体 中 选 出 优良 的 个 体 ,使 它们 有 机 会 作为 父 代为 下 一 代 繁衍 
子孙 。 根 据 各 个 个 体 的 适应 度 值 ,按照 一 定 的 规则 或 方法 从 上 - 代 群 体 中 选择 出 一 些 优良 的 
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个 体 遗 佬 到 下 一 代 种 群 中 。 选 择 的 依据 是 适应 性 蝇 的 个 体 为 下 一 代 贡 献 一 个 成 多 个 后 代 的 概 
率 大 。 

(2) 交 又 

通过 交叉 操作 可 以 得 到 新 一 代 个 体 ,新 个 体 组 合 了 父 全 个 体 的 特性 。 将 群体 中 的 各 个 个 
体 随 机 搭配 成 对 ,对 每 一 个 个 体 .以 交叉 概率 交换 它们 之 问 的 部 分 染色 体 。 

(3) 变 异 

对 种 群 中 的 每 一 个 个 体 ,以 变异 概率 改变 某 - 一 个 或 多 个 基因 座 上 的 基因 值 为 其 他 的 等 位 
基因 。 同 牛 物 界 中 - . 样 , 变 红 发 生 的 慨 率 很 低 , 变 异 为 新 个 体 的 产生 提供 了 机 会 。 


27.1.2 自 变 量 降 维 概述 


在 现实 生活 中 ,实际 问题 很 准 用 线性 模型 进行 描述 ， 神 经 网 络 的 出 现 人 大 降低 了 模型 建 
立 的 难度 和 工作 量 。 只 需 将 神经 网 络 看 成 是 一 个 黑箱 子 ,根据 输入 与 输出 数据 ,神经 网 络 依据 
相关 的 学 习 规则. 便 可 以 建立 相应 的 数学 异型。 但 是 , 当 数 学 模型 的 输入 自 变量 ( 即 影响 因素 》 
很 多 .输入 自 变量 之 间 不 是 相 眶 独立 时 ,利用 神经 网 络 容易 出 现 过 拟 合 现象 ,从 而 导致 所 建立 
的 模型 精度 低 、 建 模 时 间 长 等 问题 。 因 此 ,在 建立 模型 之 前 ,有 必 受 对 输入 自 变量 进行 优化 选 
择 , 将 元 余 的 些 自 变 量 去 掉 , 选 择 最 能 反映 输 人 与 输出 关系 的 自 变量 参 .与 建 模 。 

近 生 来 ,许多 人 对 自 变量 压缩 降 维 问题 进行 了 深信 的 研究 ,取得 了 - - 定 的 成 呆 。 常 用 的 变 
晶 奈 缩 方 法 有 多 元 回归 与 相关 分 析 法 、 类 逐步 回归 法 . 主 成 分 分 析 法 ,独立 成 分 分 析 法 . 主 某 底 
分 析 法 、 偏 最 小 条 法 .遗传 算法 等 ,具体 请 参考 文献 [ 23] 一 [7]。 


27.1.3 问题 描述 


在 第 21 章 中 ,建立 模型 时 选用 的 每 个 样本 ( 即 病例 ) 数 据 包括 10 个 量化 特征 (细胞 核 半 
径 . 质 地 、 周 长 .面积 光滑 性 、 紧 密度 、 凹 陷 度 、 凹 陷 点 数 . 对 称 度 、 断 裂 度 ) 的 平均 值 .10 个 量化 
特征 的 标准 差 和 10 个 量化 特征 的 最 坏 值 (各 特征 的 3 个 最 大 数据 的 平均 值 ) 共 30 个 数据 。 明 
显 ,这 30 个 输入 自 变量 相互 之 间 存 在 一 定 的 关系 ,并 非 相互 独 立 的 ,因此 ,为 了 缩短 建 模 时 间 、 
提高 建 模 精度 ,有 必要 将 30 个 输入 自 变量 中 起 主要 影响 因素 的 自 变量 筛选 出 来 参与 最 终 的 
建 模 。 


27.2 模型 建立 


27.2.1 设计 思路 


利用 遗传 算法 进行 优化 计算 ,首先 需要 将 解 空 间 映射 到 编码 空间 ,每 个 编码 对 应 丫 题 的 一 
个 解 ( 即 为 染色 体 或 个 体 )。 这 里 ,将 编码 长 度 设计 为 30, 染 色 体 的 每 一 位 对 应 一 个 输入 自 变 
基 , 伍 . 位 的 基因 取 俏 只 能 是 “1" 和 “0"? 两 种 情况 ,如 果 染 色 体 某 一 位 值 为 "1”, 表 示 该 位 对 点 的 
输入 自 变 量 参与 最 终 的 建 模 ; 反 之 , 则 表示 "0? 对 应 的 输入 自 变 草 不 作为 最 终 的 建 模 自 变量。 
选取 测试 集 数据 均 方 误差 的 倒数 作为 遗传 算法 的 适应 度 函 数 ,这 样 ,经 过 不 断 地 达 代 进化 ,最 
终 筛选 出 最 具 代 表 性 的 输入 自 变 量 参与 建 模 。 
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27.2.2 设计 步骤 


根据 上 述 设 计 思 路 ,设计 步骤 主要 包括 以 下 刀 个 部 分 ,如 图 27 -2 所 。 

1. 单 BP 模型 建立 

为 了 比较 遗传 算法 优化 前 后 的 该 测 效 朵 , 先 利用 全 部 的 30 个 输入 站 变量 建立 BP 模 壁 ， 
具体 程序 见 本 章 第 4 节 。 

2， 初 始 种 群 产生 

随机 产生 NN 个 初始 串 结构 数据 ,得 个 则 结构 数据 即 为 -个 个 体 ,N 个 个 体 构成 了 一 个 种 
群 。 址 传 算法 以 这 N 个 申 结构 作为 初始 点 开始 选 代 。 如 前 文 所 述 , 这 里 每 个 个 体 的 趾 结构 数 
据 只 有 "1" 和 ”0" 丙 种 取 值 。 

3. 适应 度 函 数 计算 

遗传 算法 中 使 用 适应 度 这 个 概念 来 度量 寿 体 中 各 个 个 体 在 优化 计算 中 可 能 达到 ,接近 或 
有 助 于 找到 最 优 解 的 优良 程度 。 适 应 度 较 高 的 个 体 遗 传 到 下 一 代 的 概率 就 相对 较 大 。 度 量 个 
体 适应 度 的 函数 称 为 适应 度 函 数 。 这 里 ,选取 测试 集 数 据 误 闫 平方 和 的 倒数 作为 适应 度 函 数 ， 

1 1 1 
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式 中 河 一 1 天， 为 测试 集 的 预测 值 ; 工 一 16 ,16，,…,1,) 为 测试 集 的 真实 值 ;n 为 测试 集 
的 样本 数目 。 

为 了 避免 初始 权 值 和 阅 值 的 随机 性 对 适应 度 咀 数 计算 的 影响 .针对 每 一 个 体 计算 适应 度 
苯 数 什 时 , 均 用 遗传 算法 对 所 建立 的 BP 神经 网 络 的 权 值 和 出 值 进行 优化 ,优化 步 缀 图 27 - 3 
所 示 。 

4, 选择 操作 

选择 探 作 选 用 比例 选择 算 子 , 即 个 体 被 选中 并 遗传 到 下 一 代 种 群 中 的 概率 与 该 个 体 的 适 
应 度 大 小 成 正比 ,具体 的 操作 过 程 是 : 

中 计算 种 群 中 所 有 个 体 的 适应 度 之 和 。 


F= > fx (27 -2) 
各 


名 利用 式 (27 - 3) 计 算 种 群 中 各 个 个 体 的 相对 适应 度 , 并 以 此 作为 该 个 体 被 选中 并 遗传 
到 下 一 代 种 群 中 的 概率 。 
pr = LE kl, (27 -3) 


二 采用 模拟 轮 盘 财 操 作 , 产 尘 (0,1) 之 间 的 随机 数 ,来 确定 各 个 个 体 被 选中 的 次 数 。 显 
然 ,适应 度 大 的 个 体 , 其 选择 概率 也 大 ,能 被 多 次 选中 ,其 遗传 基因 就 会 在 种 群 中 扩大 。 

5, 交叉 操作 

对 十 输入 自 变 景 的 压缩 降 维 , 交 义 操作 采用 最 简单 的 单 点 交叉 算 子 ,交叉 算 子 原理 如 
图 27 -4 所 示 。 具 体操 作 过 程 为 : 

中 先 对 种 群 中 的 个 体 进 行 两 两 随机 配对 ,本 案例 中 产生 的 切 始 种 焙 大 小 为 20, 故 共有 10 
对 相互 配对 的 个 体 组 ; 
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] 


产生 初始 种 峡 


优化 结果 输出 
{ 刘 选 出 的 白 变 算 } 


BP 模 型 建立 
( 闫 选 输入 日 变局 ) 


图 27-2 设计 步骤 


图 对 每 -对 相 玫 配 对 的 个 休 ,随机 选取 某 一 基因 应 之 后 的 位 置 作 为 父 》 
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图 27-3 遗传 算法 优化 BP 网 络 权 值 / 阅 值 


图 对 锝 - -对 机 互 配对 的 个 体 ,根据 人 @ 中 所 确定 的 交叉 点 位 置 , 相 互 交 换 两 个 个 体 的 部 分 


染色 体 ,产生 出 两 个 新 个 体 。 
交代 


子 代 


1100101110010L |000110 


11001011100101 Jr01 


001010I00LI0IO |110101 


O0101010011010 poono 


图 27-4 单 点 交叉 算 子 操作 示意 图 


对 于 BP 神经 网 络 初始 权 值 和 冰 值 的 优 人 
重组 一 对 个 体 击 产生 后 代 . 具 体 计算 过 程 为 : 


上 ,交叉 操作 采用 算术 交叉 算 子 ,利用 给 定 的 概率 


中 先 对 种 群 中 的 个 体 进 行 两 两 随机 配 必 


与 单 点 交叉 算 子 中 由 相 问 ， 


名 对 每 一 对 相 正 配对 的 个 体 ,根据 式 (27 -4 与 式 (27 -5) 产 生 两 个 新 个 体 。 


cr pxa 
=p xt 
式 中 ,pi,ps 为 一 组 配对 的 两 个 个 体 ;cc 为 
《0,1) 区 间 的 随机 数 , 即 交 义 概 率 。 
6. 变异 操作 
对 于 输入 自 变 明 的 上 缩 降 维 ,变异 操作 


+ psxX (1—a) (27 -4) 
1 orpxXa {27 -5) 
交叉 操作 后 得 到 的 新 个 体 ;a 为 随机 产 牛 的 位 于 


采用 最 简单 的 单 点 变异 算 子 , 变 红 算 子 诛 理 如 
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图 27 - 5 所 示 。 基 体操 作 过 程 如 下 : 交代 
包 随机 产生 变异 11001011100101 loloorio 
名 根据 中 中 的 变异 点 位 贺 , 改 变 其 对 应 的 基因 子 代 
府 上 的 基因 入 ,由 于 本 案例 中 的 基 内 信和 只 能 取 *1” 和 Tooloniooo [oouo 
“0”, 所 以 变 蜡 操作 的 结果 即 为 *1" 变 为 ~0” 或 "0" 前 
为 "1”。 图 27-5 单 点 变异 算 于 操作 示意 图 


对 于 BP 神经 网 络 初始 权 值 和 冰 值 的 优化 ,变异 
选用 非 均 匀 变 异 算 子 ,其 体 实现 过 程 见 MATLAB 实现 部 分 。 

7. 优化 结果 输出 

经 过 次 次 的 选 代 进 化 , 当 满 足 选 代 终止 条 件 时 ,输出 的 末代 种 样 对 应 的 便 总 问题 的 最 优 
解 或 近 优 解 , 即 第 选 出 的 最 具 代 表 性 的 输入 自 变 景 组 合 。 

8. 优化 BP 模型 建立 

根据 优化 计算 得 到 的 结果 ,将 选 出 的 参与 建 模 的 输入 自 变 量 对 应 的 训练 集 和 测试 集 数据 
提取 出 来 . 利 几 BP 神经 网 络 重 新 建立 模型 进行 仿真 测试 ,从 而 进行 结果 分 析 。 


27.3 中 使 算法 工具 箱 (GAOT) 丁 数 介 络 


遗传 算法 工具 箱 GAOT 中 含有 丰富 的 遗传 算法 所 数 , 利 用 遗传 算法 上 具 箱 可 以 很 方便 地 
实现 遗传 算 法 优化 计算 。 本 节 将 详细 介绍 遗传 算法 虐 具 箱 中 儿 个 核心 函数 的 格式 和 使 用 
方法 。 

27.3.1 种 群 初 始 化 函数 

种 群 的 初始 化 可 以 利用 工具 箱 中 的 initializega() 盟 数 来 实现 .其 调用 格式 为 : 

Pop = initializega(populationSize, variableBounds ,evalFN, evalOps, options) 

其 中 ,各 个 参数 的 意义 如 雪 27 - 1 所 列 。 本 章 中 对 BP 网 络 的 权 值 和 靖 值 进行 优化 时 ,初始 化 
种 群 采用 的 便 是 这 种 方法 。 
表 27-1 initializega() 函数 参数 意义 


参 数 意义 
pop 随机 平成 的 切 始 种 姑 
popmlarionSiee | 种 放大 小 即 种 妊 中 个 体 的 数 | | 
variableBounds 变革 边界 的 捧 阵 
evalFN 适应 度 清 数 的 名 称 
ealOps 运 记 度 需 数 的 参数 
Options 精 座 及 编 碍 形式 ,1 为 学 点 编码 ,0 为 一 进 制 编 科 


27.3.2 遗传 优化 函数 
初始 种 群 产生 后 ,可 以 利用 ga( ) 明 数 实现 遗传 算法 的 优化 过 程 ,包含 选择 .交叉 .变异 等 。 
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其 调用 格 成 为 : 


[x.endPop,bPop. traceInfo] = ga(bounds, evalFN, evalOps, startPop, opts, ternFN, termOps, selectEFN, 


selectOps, xOverFNs ,xOverOps, nutFNs ,mutOps) 


其 中 ,输入 和 输出 参数 的 意义 分 别 如 27 


2 和 表 27 -3 所 鹿 。 


表 27 -2 gal) 函数 输入 参数 的 意义 


参 数 音义 ] 参 数 意 义 
bouods | 恋 流 下 鹿 的 舌 了 中 ertngmps 终止 滑雪 的 参数 
ekN 通 度 冰 数 的 名 称 PN 这 托 丽 数 的 名 称 | 
cevalOps | 适度 度 了 两 数 的 参数 [ER 选择 蚜 数 的 参数 
actboh | 初始 利生 | overess 交 闵 打数 的 作 称 
| | 精度、 编 如 形式 庆 县 未 方式 -1 思 浊 点 编 | xOverOps 交叉 明 数 的 参数 
| 六 : 进 币 编 大 .默认 为 L10 “1 人 WutFNs 让 站 两 数 的 久 称 
TomEN | 经 让 所 数 的 凶 称 ON 交 杂 所 数 的 参数 
表 27-3 gal) 函数 输出 参数 的 意义 
参 数 站 广 参 数 意义 
x 优化 计算 得 到 的 坡 优 个 体 | bPop 羧基 种 样 的 进化 轨迹 
CE | 六 化 作证 时 的 节 绕 种 若 tacclnfs | 短 代 的 散 优 迁 点 诺 后 数值 和 平均 适应 皮 声 数 全 他 辽 


27.4 MATLAB 实现 


利用 MATLAB 神经 网 络 械 具 箱 及 遗传 算法 [县 箱 提供 的 项 数 ,可 以 方便 地 将 上 述 设计 


步骤 在 MATIAB 坏 境 下 


27.4.1 


现 。 


清空 环境 变量 、 声 明 金 局 变量 
1. 清空 环境 变量 


程序 
命令 。 其 体 程序 为 : 
环境 变 最 
clear all 
cle 


warning off 


2. 声明 全 局 变量 


全 晤 变 基 在 使 用 之 前 


名 多 声明 全 局 变量 
global P_train T_train P_test T test mint maxt S sl 


运行 之 前 ,清除 工作 空间 (workspace} 中 的 变 攻 及 命 今 窗 11(command window) 中 的 


要 声明 ,基体 程序 为 : 
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27.4.2 导入 数据 并 归 一 化 


1， 导入 数据 

数据 与 第 21 章 中 的 数据 相同 ,保存 在 data, mat 文件 中 ,具体 请 查看 第 21 章 相 应 部 分 ,此 
处 不 冉 蓝 述 。 不 类 一 般 性 ,随机 选取 500 组 样本 作为 训练 集 ,剩余 的 69 组 样本 作为 测试 集 。 
肌体 种 序 如 下 : 


名 多 导 人 数据 
load data. mat 
as randperm(559); 
Train = data(a(1:500) ,1); 
Test = data(a(501:end),;); 
名 训练 数据 
PF_train= Train( :,3:end)'; 
T_train= Train( ,2)"; 
#% 测试 数据 
P test= Test(:,3:end)'; 
T_test = Test(: ,2)'; 
$ 显示 实验 条 件 
total_B= length(find(data( ; ,2) == 1)); 
total M= length(find(data( :,2) == 2)); 
count B= length(find(T train== 1)); 
count_M= length(find(T train== 2))5 
number B= length(find(T test == 1)); 
nunber N= length(find(T test == 2)); 
dispt[ 实 验 条 件 为 :了 ]); 
disp([ 病 鲍 总 数 ，nun2str(569).. 
， 良性 :' num2str(total B)... 
”号 性 :' num2str(total_M) 了); 
disp([' 训 练 集 病 例 总 数 :' num2str(500).. 
良性:' nun2str(count_B)... 
， 县 性 :' nun2str(count_3M)]); 
disp([ 测 试 集 病例 总 数 :' num2str(69) 
良性;" num2str(number._B).,， 
， 可 性 :' nun2str(number_M)])s 


2. 数据 归 一 化 

由 于 各 个 输入 自 变 量 的 晶 纲 都 不 相 问 ,因此 ,有 必要 在 建立 模 增 前 将 数据 进行 归 一 化 处 
理 , 具 体 程序 为 : 

*$# 数据 归 一 化 


[P_trainyminpymaxp,y _trainymint,maxtT= premnmx(P_ train,T train); 


P_test = tramnmx(P_ test,ninp,mexp)s 
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27.4.3 单 BP 爽 络 创建 .训练 和 仿真 


1. 创建 单 BP 网 络 
利用 多 部 30 个 输入 站 变 基 参与 建 模 , 共 BP 网 络 创建 程序 为 : 


% % 创建 单 B 网 络 

上 = cputime; 

met_bp = newff(minmax(P_train) ,Lsi,1],{ tansig", Purelin trainlm 
% 没 置 讲 练 参数 

net_bp. trainparam. epochs = 1000; 

net_bp. trainparan, show = 10; 

net_bp. trainparan, goal = 0. 1; 


net_bp. trainParan. 1r = 0. 1; 


2， 训练 单 BP 网 络 
网 络 创 建 及 相关 参数 设置 完成 后 ,利用 MATLAB 中 带 的 网 络 训练 函数 train() 可 以 方 使 
地 对 网 络 进行 训练 学 习 , 具 体 程序 为 ; 


*# # 训练 单 BP 网 络 


net_bp = train(net_bp,P_train,T train); 


3. 仿真 测试 单 BP 网 络 
利用 sim() 函数 将 测试 集 输入 数据 送 人 训练 好 的 神经 网 络 ,使 可 以 得 到 对 应 的 测试 集 输 
出 仿真 数据 ,详细 程序 如 下 ， 


ss 仿真 测试 单 BP 网 络 

tn_bp_sim= sim(net_bp,P._test); 

% 反 归 一 化 

T_bp sim= postmnmx(tn_bp_sim, mint ,maxt); 
e= cputime 一 上 

了 bp_sin(T bp_sim>1.5) = 2; 

Tbp_ sin(T bp_sim<1.5) =1; 

result bp=[T bp, sim'T test']s 


4. 结果 显示 ( 单 BP 网 络 ) 
为 了 方便 读者 清晰 地 观察 .分 析 结果 , 特 将 建 异 结果 显示 在 命令 窗口 中 , 读 老 可 以 从 命令 
窗 上 1 中 直观 地 看 到 仿真 条 件 及 仿真 结果 。 具 体 程序 为 ， 


和 结果 显示 (音色 网 络 》 
nunber Bsin = length(find(T bp sim==1&?T test==1))1 
number M_sinm= length(find(T bp sim==2 &T test== 2)); 
disp((1)BP 网 络 的 测试 结果 为 :7 
disp( 岂 良性 乳腺 肿瘤 确诊 :" nun2str(nunber_B_sim)... 

， 误诊 :num2etrCnumber_B- number B_sim). 

' 确诊 率 pl =' num2str(number_B_sim/number_Bx100)'%"]); 
disp 人 [村 性 乳腺 肿瘤 确诊 :' nunm2str(number_H_sim).、 
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” 误 论 :' num2str(number HM~ number NM_sim)... 
” 确诊 率 p2 = "num2str(number_M_simynumber_ Mx 100) '%"]); 
disp([' 建 模 时 间 为 :' num2str(e) 's"] )， 


27.4.4 遗传 算法 优化 


如 前 文 所 述 ,在 利 几 遣 传 算法 对 自 蛮 大 进行 优化 筛选 时 ,染色 体 长 度 为 30. 种 群 大 小 设 痊 
为 20, 最 大 进化 代数 设 帝 为 100。 只 体 的 程序 如 下 ， 


名 各 遗传 算法 优化 
popu= 20; 
bounds = ones(S,1) * [0.1]; 
s 产生 初始 种 群 
initPop = randinttpopu,S,[0 1]); 
$ 计算 初始 种 群 适应 度 
initgit = zeros(popuy1)3 
for i=1:size(initPop,1) 
initEit(i = de_code( initPop(i, :7)} 

end 

initPop = [initPop initFit]， 

gen = 100; 

% 优化 计算 

[X,EndPop,BPop, Trace} = gafbounds，fitness',[],initPop,[le-610],naxGenTern'，.. 
gen,' normGeomSelect ',[0.09],[ sinpleXover '],[2]1," boundaryMutation',[2 gen 3]); 

[mn] = find(X== 1)， 

disp([ 优 化 筛选 后 的 输 人 自 变 基 编号 为 ，nun2str(n)])， 

#% 给 制 适应 度 函 数 进 化 曲线 

figure 

plot(Trace(: ,1),Trace(: ,3). r;") 

hold on 

Plot(Trace( +:,1),Trace( ; ,2),'b') 

xlabel(' 进 化 代数 ') 

Ylabel( 通 应 度 沿 数 ) 

title( 适 应 度 函 数 进化 曲线 7 

1legend( 平 均 适 应 度 本 数 ,最 佳 适应 度 函 数 7 

xlint[1 gen]) 

如 .上 文 所 述 , 考 虑 到 初始 权 值 和 阐 值 的 随机 性 对 油 试 结果 的 影响 ,程序 中 计算 适应 度 丽 数 
秆 时 均 川 路 传 算 法 对 BP 网 络 的 初始 权 值 和 轿 值 进行 优化 ,以 优化 后 的 权 值 和 阅 值 作为 BP 网 
络 的 初始 权 值 和 阐 值 。 

对 输入 自 变 竖 进行 优化 第 选 时 ,对 应 的 适应 度 子 函数 和 编 解 公子 函数 分 别 为 fitness. m 
和 de_code. m, 对 BP 神经 网 络 的 权 值 和 贱 值 进行 优化 时 对 应 的 适应 度 子 函数 和 编 解码 了 也 
数 为 gabpEval. m 和 gadecod. m。 下 面 将 列举 出 各 个 于 也 数 的 程序 。 


何 
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1. 输入 自 变量 优化 适应 度 子 画 数 fitness. m 


function [sol,Val] = fitness(sol,options) 
gaobal S 
for is 1:S 
xfi) = sol(i)s 
end 
Val = de_code(x); 
ed 


2. 输入 自 变 量 优化 编 解码 子 函 数 de_code.m 


function Val = de_code(x) 
% 全 局 变量 声明 
global SP train T_train P_test T test mint maxt 
global ptrssls2 
s% 数据 提取 
xx(i1348)1 
[mnj= Find(x==1)5 
p_train= zeros{ size(n,2) ,gize(T train,2)); 
p_test = zeros(size(ny2) ,size(T test,2)); 
for i= 1:length(n) 
ptrain(i,:) =P_train(n(i) ,1)s 
ptest(i,:) =P.test(n(i),:)s 
end 
t_train= 7 train; 


p= Pp_train; 
t=t_train; 
% 遗传 算法 优化 8P 油 络 权 信和 靖 值 
r= size(p,1); 
s2 = size(t,1); 
=rwsl+slxs2+S1+S2 
aa= ones(s,1) + [ -1,1]: 
popu = 204 
* 初始 化 种 群 
initPpp = initializega(popu,aa,' gabpEval ) 1 
gen= 100s 
# 优化 计算 
x= ga(aa,,gabpgval',[],initpppy[le- 6 1 0], maxGenTerm'gen,. 
'normGeonSelect ,0. 09，arithXover 2， nonUnifMutation ,2 gen 3]); 
% 创建 到 网络 
net = newff(minmax(p train) [sl1,1],{' tansig', purelin’} ,trainin')s 
和 将 优化 得 到 的 权 值 和 赋值 赋值 给 BP 网 络 
[WE ,Bl ,W2,B2] = qadecod(x) ; 
net. IN(1,1} = Wis 
net. LN{2,1} = W2s 
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net. bi1} = B1; 

net. b{2} = B2; 

% 设置 训练 参数 

net. trainparan. epochs = 1000; 
net. trainParam. show = 10; 

net. trainparam. goal = 0. 1 

net. trainparam, lr = 0.1, 

多 训练 网 络 

net = train(net,p_train,t_train)s} 
仿真 测试 

tn_sin= sim(net,p_test)5 

s# 反 归 一 化 

t_sin= postmnnx(tn_ sim,nint, naxt)} 
各 计算 均 方 误差 

SE= sse(t_sin~ T test)s 

* 计算 适应 度 函 数值 

Val = 17SE1 


end 
3. BP 网 络 权 值 和 阔 值 优化 适应 度 子 函数 gabpEval. m 


function[sol,val] = gabpEyal(sol,options》 

global s 

for i 
x() » so01(1)s 

ends 

[LW1,B1,W2,B2,val] = gadecod(x)} 


4. BP 网 络 权 值 和 阅 值 优 化 编 解 码 子 函 数 gadecod. m 


function[ Nl ,B1,W2,B2,val] = gadecod(x) 
global ptr sl s2 


M1 = zeros(s1,r)s 


W2 = zeros(s2,s1); 
Bl = zeros(s1,1); 
B2 = zeros(s2,1); 
$$ 前 r* sl 个 编码 为 由 


for i=1:81 


for 3 


Wik) = xCr Ci~ 1) +k), 


end 
end 
所 接著 的 sl * s2 个 编码 为 H2 
for i=1:92 

for k=1:s1 


W2CiskY = xCsl ¥ Ci- 1) +k+tr*si)s; 
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end 
end 
s% 接着 的 sl 个 编码 为 BL 
for 1= 14s1 
Bl(i,1) =x((rx s1+slx*s2) +i)s: 


end 
*# 接着 的 s2 个 编码 为 B2 
for i=1:s2 


B2(i,l) = x((r# sl+sl#s2+sl)+i)s; 
end 
多 计算 sl 与 s2 层 的 输出 
Ra = tansig(WI # p.B1); 
M2 = purelin(W2 * Al ,82); 
*# 计算 误差 平 方 和 
SE= sunsqr(t — A2); 
计算 适应 度 丞 数值 


val = L/SE; 

有 3 pr 
入 | 27.4.5 新 训练 集 /测试 集 数 据 提取 
条 
叶 利用 址 传 算法 优化 计算 后 ,需要 将 筛选 出 的 输入 扬 变 基 对 应 的 数据 提 志 出 来 .以 便 建 立 
可 的 BP 神经 网 络 。 其 体 程序 如 下， 
以 
由 % % 新 训练 保 /测试 集 数 据 提取 
入 P_train = zeros(size(n,2) ,size(T train,2)); 
交 p_test = zeros(size(n,2),size(T test,2)); 
流 for i= 1:length(n) 

p_train(i,:) = P_train(n(i) 

p_test(i.:) = P_test(n(i) 


end 


t_train=T, train: 


27.4.6 优化 BP 网 络 创 建 、 训 练 和 仿真 

1. 创建 优化 BP 网 络 

利用 newffO) 函数 创建 优化 BP 网 络 的 方法 与 前面 创建 单 BP 网 络 的 方法 类 似 , 只 是 数据 
集 变 成 了 遗传 算法 优化 筛选 后 提取 出 的 新 训练 集 /测试 集 数据 。 其 体 程序 为 : 

名 名 创建 优化 BP 网 络 


t= cputines; 


牙 沿 六 六 虹 征 风 生 玫 YTLYIA 沙 了 市 


net ga= newff(minmax(p_train) ,Lsl,1],{" tansig', purelin’}, trainlm')s 
% 设置 训练 参数 

net_ ga. trainparanm. epochs = 1000; 

net_ga. trainparam. show = 103 

net_ga. trainparan. goal = 0.13 

net_ga, trainParam, lr= 0.1; 
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2. 训练 优化 BP 网 络 
优化 BP 网 络 创建 完成 后 ,与 单 BP 网 络 的 训练 方法 相 问 ,利用 训练 陋 数 train() 对 网 络 进 
行 训练 。 具 体 的 程序 如 下 : 


和 % 第 训练 优化 BP 网 络 


net_ga = train(net_ gasp train,t_train)s 


3, 仿真 测试 优化 BP 网 络 
网 络 训练 完成 后 ,将 优化 筛选 后 提取 出 来 的 新 测试 集 数据 输入 网 络 ,网 络 的 得 讲 姑 为 对 点 
的 仿真 预测 值 , 其 体 程序 为 ， 


#% % 仿真 测试 优化 BP 网 络 

tn_ga_sim = sin(net_ga,p. test); 

多 反 归 一 化 

Tga sim= postmnmx(tn ga_ Simsmint Tax) 
e= cputine 一 t; 

T_ga_sim(T_ga_sin>>1.5)= 2 

T_ga_sim(T ga_sin<1.5) = 15 

result_ga = fT_ ga sim'T test'"]: 


4. 结果 显示 (优化 BP 网络 ) 
与 前 文 单 BP 网 络 一 样 ,仿真 结果 最 水 程序 如 下 :; 


名 多 结果 显 水 (优化 BP 网 络 } 
number_b_sin = length(find(T ga_s: 1 &T test==1)); 


2 &T test ==2)): 


number _m_sin = length(find(T_ga_s 
sisp((2? 优 化 BP 网 络 的 测试 结果 为 :); 
disp([' 良 性 乳腺 肿 装 确诊:" nun2strCnumber_b_sim).. 

1 误诊 :* num2str(nunber 8- nunber.b_sin) 

4( 确诊 率 pl = ' num2str(number .bsim/nunber_B* 100) ' 告 下)， 
disp([' 恶 性 乳腺 肿 装 确 诊 :" nun2str(number_n_sim).. 

” 误诊 :num2str(nanmber_H number_m_sim) 

'， 确诊 率 p2 =' num2str(number_m sim/number_Mx* 100) "% 
disp([ 建 模 时 间 为 ， nun2str(e) 's"] ) 


27.4.7 结果 分 析 
程序 运行 后 ,种 寿 适 应 度 蚌 数 的 进化 遇 线 如 图 27 6 所 水。 命令 行 中 一 未 的 运行 结果 为 : 


实验 条 件 为 

病例 总 数 :569 ”良性 ;357 ”恶性 :212 
训练 集 病 例 总 数 :500 ”良性 :308 ”恶性 :192 
测试 集 病例 总 数 :69 ”良性 :49 ”恶性 :20 

(1)BP 网 络 的 测试 结果 为 : 

良性 乳腺 肿瘤 确诊 :46 ”误诊 :3 ”确诊 率 pl = 93.8776% 
恶性 乳腺 肿瘤 确诊 :20 ”误诊 :0 确诊 率 p2= 100% 


该 则 
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建 模 时 间 为 :29.2031s 

优化 第 选 后 的 输 人 自 变 量 编号 为 :25678910111619222526282930 

(2) 优 化 BP 网 络 的 测试 结果 为 : 

良性 乳腺 肿瘤 确诊 :49 ”误诊 :0 确诊 率 Ppl= 100% 

恶性 乳 逐 肿瘤 确诊 :20 ”误诊 :0 确诊 率 p2= 100% 

建 模 时 间 为 ,4.3906s 

从 上 述 结果 可 以 看 出 ,经 遗传 算法 优化 计算 后 ,筛选 出 的 “级 输入 自 变 量 编 兄 为 :2,5,6， 
7,.8,9,10,11,16,19,22,25,26,28,29,30, 也 就 是 说 ,筛选 出 的 16 个 输入 日 变量 分 别 为 质地 、 
光滑 性 、 紧 密度 . 止 陷 度 .四 陷 点 数 、 对 称 度 .断裂 度 的 平均 值 ,细胞 核 半 径 、 紧 密度 及 对 称 度 的 
标准 差 , 质 地 .光滑 性 .紧密 度 .凹陷 点 数 .对 称 虚 及 断 昏 度 的 最 坏 值 。 

攻 面 易 见 , 经 遗传 算法 优化 筛选 后 ,参与 建 模 的 输入 自 变量 个 数 约 为 全 部 输入 自 爸 基 个 数 
的 : 半 。 对 比 优化 筛选 前 后 的 BP 网 络 的 测试 结果 ,可 以 发 现 , 当 使 用 16 个 筛选 出 来 的 输入 
让 变量 进行 建 模 时 ,预测 准确 率 可 以 达到 100%%, 相 比 使 用 企 部 自 变 基 建立 的 模型 ,性 能 得 到 
了 改善 和 提升 。 另 一 方面 ,优化 后 的 模型 建立 时 间 仅 为 4s 左 右 ,而 优化 前 的 模型 建立 需要 
29 s 左 右 的 时 间 , 这 也 表明 , 当 使 用 遗传 算法 对 输入 自 变 其 进 行 降 维 压缩 后 , 建 模 时 间 缩 短 了 
很 多 。 


适应 度 汕 数 进化 曲线 
0.65 
一 一 -最 佳 适应 度 函 数 
06 
0.55 
部 0.5 
二 
空 0.45 
昌 
0.4 
0.35 
10 20 30 40 50 60 70 80 90 100 
进化 代数 
图 27-6 种 群 适应 度 函 数 进化 曲线 
27.5 业 例 扩展 


将 遗传 算法 与 神经 网 络 相 结合 ,可 以 避免 神经 网 络 容易 陷 人 局部 极 小 、 容 易 出 现 过 拟 合 现 
象 . 泛 化 能 力 差 等 问题 。 针 对 输入 自 变 量 个 数 太 多 的 模型 ,可 以 在 建立 模型 前 ,利用 遗传 算法 
对 输入 中 变量 进行 优化 筛选 ,从 而 达到 笑 维 的 日 的 。 该 方法 已 经 成 功 应 用 于 图 像 处 理光 谱 分 
析 等 领域 中 , 随 着 研究 的 不 断 深 入 ,其 一 定 会 得 到 更 为 广泛 的 应 用 。 
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第 28 章 基于 灰色 神经 网 络 的 预测 算法 研究 
| 一 一 订单 需求 预测 


28.1 业 例 背景 


28.1.1 卖 色 理 沧 


其 色 系 统 理论 是 一 种 研究 少数 据 、 贫 信息 ,不 确定 性 问题 的 新 方法 , 它 以 琵 分 信息 已 知 .部 
分 信息 术 知 的 小样 本"“ 贫 信息 ”不 确定 系统 为 研究 对 象 ,通过 对 “部 分 "已 知 信息 的 牛 成 , 开 
发 ,提取 有 价值 的 信息 ,实现 对 系统 运行 行为 .演化 规律 的 止 确 措 述 和 有 效 监 控 。 其 色 理 论 是 
我 国学 者 邓 聚 龙 教授 在 1982 年 首先 提出 的 ,该 理论 认为 任何 随机 过 程 邦 可 看 人 微 证 在 定时 空 
区 战 内 弯 化 的 砍 色 过 程 ,随机 知 可 看 成 大 人 色 其 , 辣 时 ,他 认为 通过 生成 变换 可 将 系统 数据 无 规 
很 的 序 九 变 成 有 规律 的 序列 。 灰 色 理 论 强调 通过 对 碟 规 律 的 系统 已 知 信息 的 研究 ,提炼 和 控 
揣 丰 价值 的 信息 ,进而 用 已 知 信息 去 揭 天 林 知 信息 .使 系统 不 断 “ 自 化 ”、 

其 色 系 统 中 建立 的 模型 称 为 其 色 模 型 (grey model) ,简称 GM 模型 ,该 模型 是 以 原始 数据 
序列 为 基础 建立 的 微分 方 种。 其 色 建 模 中 坝 有 代表 性 的 模型 是 针对 时 问 序列 的 GM 建 异 , 它 
自 接 将 时 间 序 列 数据 转化 为 微分 方程 ,利用 系统 信息 ,使 抽象 的 模 珊 其 化 ,进而 在 缺 乏 系统 特 
性 知识 的 情况 下 统 测 系统 输出 。 

GM 模 塌 首先 给 数据 序列 做 宗 加 :使 累 押 后 的 数据 呈现“ 定 规律 ,然后 几 典 型 周 
线 拟 合 该 明 线 。 设 有 时 间 数 据 序列 x' 

2 12, or 四 (28 1) 

对 322 作 一 次 昧 加 得 到 新 的 数据 序列 x .新 的 数据 让 列 x< 第 上 项 为 庶 始 数据 序 关 ” 列 
前 4 项 之 和 , 即 


Le = 1 2 = |( (28 -2) 
根据 新 的 数据 序列 ”建立 白化 方程 .如 
Star a (28 -3) 
该 户 答 的 解 为 
ee (28 -4) 
为 x 序列 的 估计 值 ,对 x 5 向 一 次 累 减 得 到 ”的 预测 值 7 ” , 邯 
a (28 -5) 


28.1.2 友 色 神经 网 络 
灰色 问题 是 指 对 灰色 的 不 硼 定 系统 行为 特征 值 的 发 展 变 化 进行 预测 的 问题 ,该 不 确定 系 
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统 特征 值 的 原始 数列 x (1 二 0.1,2,…,N 一 1) 经 过 一 次 累加 生成 后 得 到 的 数列 x 呈现 指数 
增长 规律 ,办 而 可 以 用 一 个 连续 是 数 或 微分 方程 进行 数据 拟 和 和 项 测 。 为 了 表达 方便 ,对 符号 
进行 重新 定义 ,原始 数列 zI” 肯 示 为 <(2) ,一 次 累加 生成 后 得 到 的 数列 zi 表示 为 y(7) ,预测 
结果 zr 表示 为 z(1)。 

7 个 参数 的 灰色 神经 网 络 模 型 的 微分 方程 卜 达 上 为 


时 十 ayt 一 可 ys 十 


ys (28-6) 


Rv yy, 四 为 系统 输出 参数 ia 和 ,和 为 微分 方 穆 系 数 。 
武 (28 一 和) 的 时 间 响 应 式 为 
ee 和 Dje “十 
抽 ; 
a 《0 十 多 (28 -7) 
仿 
人 
d= y+ ys (D+ + ly, [$2] 
汉 28- 帮 林 以 转化 为 让 (28 -8 
一 和 .1 二 一 
xD = (C90) 人 这 je (1 二 ev*) 一 
ll .1 
{C00) — {1 Te dT) tte) = 
1 1 。 
(600 -0 OT td Ts) dte") 《28 -8) 


将 变换 后 的 式 (28 - 8) 映 射 到 “个 扩展 的 BP 神经 网 络 中 就 得 到 ”个 输入 参数 ,1 个 输出 
参数 的 灰色 神经 网 络 , 网 络 拓扑 结构 如 图 28 - ] 所 示 。 


LA LB 1C LD 


图 238 -1 灰色 神经 网 络 拓扑 结构 
其 中心 为 输入 参数 序号 1 000， 人 0 为 网 络 输 人 参数 ion ,os sw yan ye，… ws 为 网 
络 权 值 ;y, 为 网 络 项 测 值 ;LA、LB、LC.ID 分 别 硼 尖 灰 色 神经 网 络 的 四 层 。 


令 隐 = 敬一: 约 二 = ， 划 网 络 初始 权 全 可 以 表示 为 


a a 
0 = dw 7 YO) wor 一 区 oa = Wr ay = ds 


一 oo 


j 


站 宣 请示 入 马 亲 于 党 漳 语 


沿路 放流 天 本 


家 中 沪 
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ILD 层 中 输出 节点 的 出 值 为 
8= (1—e "(do 0) 
灰色 神经 网 络 的 学 习 流程 如 下 ; 
步 归 1: 根据 训练 数据 特征 初始 化 网 络 结构 ,初始 化 参数 a.5, 并 根据 4,6 的 值 计算 x。 
步骤 2 : 恨 据 网 络 权 值 定义 计算 on ,asl see yoza ys rsa oa 
步骤 3 :对 每 一 个 输入 序列 (ty(0) ,i 一 1,2,3,… N ,计算 等 层 输 出 。 
LA 层 :4a=wut 


， 1 
LB:b= flond Te 


LC 层 :ol 一 pas ye 一 加 (pas 一 有 (0Dboo cr 一 (Dao 

1D 层 ;d=wuc twacs Fe tw 6 

步 又 4 :计算 网 络 预测 输出 与 期 户 输 出 的 误差 ,并 根据 误差 调整 权 值 和 靖 值 。 
LD 层 误 差 :8 一 d 一 yn 人 0 

LC 层 误 闫 :0 一 8(1+e 4) ,6 二 6(] 二 ce "6(1 Te mm) 


LB 层 误 基 :8,11 一 7 于 Lai (1 一 了 


le 
根据 顶 测 误差 调整 公 值 。 
调整 LB 到 LC 的 连接 权 值 。 


) 08 tom + + wt) 


wa = yi C0 on = wes pdb es wen — pr 16O 
调整 LA 到 LB 的 连接 权 信 :ow 一 wn 十 at6,11 
调整 阐 值 :0 一 (te “(旁人 二 之 6D 上 季 D 一 (0)) 


步 又 5: 判 断 训练 是 否 结束 , 疹 各 ,返回 步骤 3。 
28.1.3 冰箱 订单 预测 


对 于 冰箱 市 场 来 说 ,影响 其 需求 晤 的 因素 很 多 ,比如 季节 性 因素 、 上 成 本 、 产 品质 量 水 平 . 蜗 
牌 认 可 、 售 后 服务 .产品 结构 .产品 生命 周期 .价格 波动 及 销售 力度 ,竞争 对 手 .市 场 特征 ,性 能 
价格 比 等 ,根据 各 因素 对 订单 需求 影响 的 大 小 ,从 中 选取 需求 趋势 .产品 的 市 场 份额 ,销售 价格 
波动 .订单 缺 货 情况 和 分 销 商 的 联合 预测 情况 5 个 因素 作为 十 要 因素 预测 冰箱 订单 基 。 

产品 的 市 场 份额 是 指 某 个 企业 销售 额 在 同一 市 场 (或 行业 ) 爹 部 销售 额 中 所 占 比 重 。 一 般 
来 说 , 某 市 场 中 ,企业 越 多 ,单个 企业 所 占 比 重 越 低 , 即 市 场 份额 小 ,该 市 场 的 竞争 程度 越 高。 

产品 的 生命 周期 是 指 产 上 品 从 推出 市 场 色 从 市 场 退出 的 半期。 产品 订单 同 产品 生命 周期 有 
很 大 关系 ,比如 产品 处 于 成 长 期 ,那么 其 需求 将 增长 快速 。 处 于 成 熟 期 ,其 需求 的 增长 比较 组 
慢 皇 稳定 。 

价格 波动 一 般 指 企业 为 了 增加 产品 的 销量 ,减少 闲 尼 库 在 ,提升 品牌 竞争 力 ,又 或 者 由 于 
原材料 的 成 本 增加 ,为 满足 一 定 的 盈利 ,短期 时 间 内 价格 的 变化 。 价 格 的 波动 导致 的 需求 量 突 
增 或 突 减 可 反映 在 市 场 活动 如 促销 前 后 ,直接 的 价格 战 前 后 ,因而 在 做 需求 预测 时 要 考虑 预测 
期 间 的 市 场 活动 状况 ,对 预测 的 需求 量 按 促销 等 力度 加 以 调整 。 

订单 满足 率 是 指 由 于 供应 量 的 不 是 导致 的 缺 货 和 其 他 原 内 不 能 满足 给 定数 量 的 货物 所 占 
总 订单 数 的 比例 。 对 于 某 冰箱 公司 ,一 般 情 况 下 ,下 游 企业 或 者 说 批发 商会 在 给 定 前 置 期 的 范 
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围 内 下 订单 ,但 是 由 十 月 前 的 以 需求 计划 为 引导 的 生产 计划 可 能 不 能 满足 足够 数额 的 需求 ,所 
以 会 产生 制造 商 和 批发 商 之 问 的 短期 博 塞 。 

分 销 商 联合 预测 因素 是 指 供应 商 、 制 造 商 ,配送 商 , 分 销 商 .零售 商 , 直 至 最 后 的 容 户 连接 
成 一 个 有 机 体 , 考 虑 各 自 上 下 游 之 问 的 需求 匹配 性 ,进行 联合 预测 ,实现 信息 共享 ,来 减少 供 
应 链 中 的 存货 ,生产 及 运输 成 本 ,快速 响应 消费 者 需求 ,提高 订单 满足 襟 和 客户 服务 水 并 。 


28.2 模型 建立 


基于 藉 色 神经 网 络 的 冰箱 订单 预测 算法 流程 如 图 28 - 2 所 示 。 其 中 ,灰色 神经 网 络 构 建 
根据 输入 /输出 数据 维 数 确 定 灰 色 神 经 网 络 结构 。 由 于 本 案例 输入 数据 为 5 维 ,输出 有 1 维 ， 
所 以 灰色 神经 网 络 结构 为 1-1-6-1, 即 LA 居 有 1 个 节点 ,输入 为 时 间 序 列 ,LB 层 有 1 个 
节点 ,LC 层 有 56 个 节点 ,从 第 2 个 到 第 6 个 分 别 输 入 市 场 份额 ,需求 趋势 .价格 波动 .订单 满足 
率 ` 分 销 商 联合 预测 等 5 个 因素 的 让 一 化 数据 ,输出 为 顶 测 订 单 量 。 


灰色 神经 网 络 构建 训 色 神经 网 络 训 练 


| 网 建 全 天 的 灰 包 | | 基色 神经 网 络 | 认 色 神经 网 久 
生产 建 模 神经 网 络 初 给 化 。 站 贡 练 


忒 色 神 经 网 络 蔬 济 


砍 色 神 经 M4 络 | 测试 数据 Y 


图 28-2 灰色 神经 网 络 流程 
灰色 神经 网 络 训练 用 训练 数据 训练 交 色 神经 网 络 , 使 网 络 具 有 订单 预测 能 力 。 灰 色 神 经 
网 络 预 测 用 网 络 预测 订单 数量 ,并 根据 顶 测 误 差 判断 网 络 性 能 。 共 有 过 去 3 年 (36 个 月 ) 的 数 
据 , 首 先 取 前 30 个 月 的 数据 作为 训练 数据 训练 网 络 ,网 络 具 学 习 进 化 100 次 ,然后 用 剩余 6 组 
数据 评价 网 络 的 预测 性 能 。 


28.3 编程 实现 


根据 灰色 神经 网 络 原理 ,在 MATLAB 中 编程 实现 基于 灰色 神经 网 络 的 订单 需求 预测 。 
28.3.1 数据 处 理 


对 原始 数据 进行 黑 加 作为 网 络 的 输入 /输出 参数 ,冰箱 原始 订单 数据 存储 在 data. mat 文 
件 的 给 阵 XX 中 ,XX 为 36 行 6 列 从 阵 ,第 1 列 为 冰箱 订单 数 , 第 2 到 6 列 分 别 为 需求 趋势 ,产品 
的 市 场 份额 销售 价 格 波动 .订单 缺 货 情况 和 分 销 商 的 联合 预测 。 

清空 环境 变量 
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下 载 数据 
lead data 


原始 数据 累加 

[asn] = size(X)s 

for i<1:n 
Mi,1) = sum(X(L:iv1))5 
Wi,2) = sun(X(111,2))s 
Yi,3) = sun(X(1:1,3)); 
YCGiya) = sumCX(1:1,42)3 
Si,5) = sun(X(1:1,57)4 
Y(i,6) = sumCX(1:i,6))i 


end 


28.3.2 网 络 初始 化 
初始 化 基色 神经 网 络 权 值 和 效 值 。 


*Y 网络 参 数 初始 化 
a=0.3+rand(1)/4; 
bl = 0.3+rand(1)/4, 


上 b2=0.3+ rand(1)/4s 
b3= 


.3+rand(1)/ss 
0.3+rand(1)/ds; 
b5 = 0.3+rand(1)/4: 


学 习 速 率 
ul =0.0015; 
.0015; 
.0015; 
uu4=0.0015; 
05=0.00157 


s% 权 值 初始 化 


w21 = -Y(1,1)3 
Ww22 = 2 % bl/as 
23 = 2* b2/as 
Ww24 = 2 # ba/as 
25 = 2 4« bh/as 
Ww26 = 2 # b5/as 


这 注 二 四 泊 让 和 和 VILYAN 神 内 市 澡堂 加 谭 注 总 - 汪 寂 认 从 计 魏 囊 共 区 首 院 六 


Ww3l=1+exp(t -axt)s; 
Ww32=1+exp(— aut)s 
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W33= 1+exp( -axt)s 


W34 = 1+ exp( — art); 

w35 = 1+exp( ~ ant); 

Ww36=1+exp( -art)s 

theta= (1 +exp( ax t)) (blyy(1,2)/a+b2wy(13)/a+b3xy(1,4)/a+baxY(1,5)/a+b5x 了 
(16 /a y(1,10); 


28.3.3 网 络 学 习 
利用 训练 数据 训练 灰色 神经 网络。 


名 网 络 循环 

for j= 1:100 

记录 误差 

Ej) = 0 

for i=1:30 
t=is 
% 网 络 输出 计算 
LB b= 1/(1+ exp( — wil *« t)); 名 IB 展 输 出 
LC cl= LB bx w2l; #LC 层 输出 
LC c2= Yiy2) # LB bx w22; IC 层 输出 
LC ce3=y(i.3) x LB bx n234 I 层 输 出 
IC_c4= yi,4) # LB bx w2ds 和 LC 层 输出 
LC ec5 = y(i,5) * LB bx w25 入 IC 层 输出 
IC_c6 = y(i,6) * LB bx w26s IC 层 输出 


ILD.d=w3l#LC cl tw32 LC c2+wI3n1c c3t wd LC ca+w35 « LC_c5 + w36 % LC_c6; 名 ID 


层 输 出 

theta= (1 +exp( — wil t))  (w22 # yi1,2)/2 + w23 + yi,3)/2 + w24 x ¥(i,4)/2 + w25 x y(i,5)/ 
2 + W26* yi,6)/2- (1,1)); 人 阅 值 

yn= 1D.d- theta; *# 网 络 预测 信 

Sci = yns 

% 权 值 修正 

error = yn ~ y(i,1); 计算 误差 

E(j) = PR(j) +abs(error); 误差 求 得 


errorl = error* (1+ exp( -wll #*+)); 有 LC 层 误差 

error2 = errory (1 + exp( — wll * t))s 

error3 = error * (1 + exp( — wll # t)); 

error4 = error x (1 + expt ~ wll * +)); 

error5 = error * (1 + exp( — wll * t))s 

Qrror6 = error x (1 + exp( — wll # t)); 

error7 = (1/(1 + exp( ~ wli# t))) # (1 ~ 1/(1 + exp( ~ wll # t))) x (w21 x errorl + w22 * error2 


+ W2I x error3 + W24 x errord + w25 x error5 + W264 error6); $LB 层 误差 


修改 权 值 


W22 = w22 ~ ul # error2 x LB bs 


次 言 记 震 特 号 林 于 等 党 唱 


YLY 内 济 启 市 品 沿 浴 箱 六 芝 耻 - 
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WewiloveMatlab.cn 
W23 = Ww23 ~ u2 x error3 # LB_bs 
W224 = W24 ~ dU3 # errord # LB_ bs 
W25 = Ww25 ~ ud x error5 * LB_b; 
w26 = W26 ~ U5 # error6 * LB_bs 
wll= nll +axtrerror?s; 
end 


end 


28.3.4 结果 预测 
用 训练 好 的 其 色 神 经 网 络 预测 冰箱 汀 单 。 


灰色 神经 网 络 预测 

for 1= 31;36 
t= 
LB b=1/(1+exp( — wll *t)); LILB 层 输 出 
IC.cl = 1B bx wls IC 屋 输出 
LIC_c2= Yi,2) * EB_bxw221 IC 房 输 出 
LC c3= Y(i,3) ¢ LB_b# w23, IC 层 输出 
LC cA = yi,4) # LED* #24; 名 LC 层 输出 
LC c5 = yi,5) LB bw w254 IC 屋 输 出 
LC_c6 = ¥y(i,6) LB bw w265 %IC 层 输出 


ED d= wal LC cl + u32# 10 c2 +w33# LIC_ ct wdxrLc catw5 LC.c5+w36* LC c6s 
theta= (1 + exp( — wll x t)) ¥ (w22 x y(i,2)/2+ w23x y(i,3)/2 + w24 # y(i,4)/2 + wa5 x y(i,5)/2 + w26 # y 
(1,67/2— ¥(1,1)) 
m= LD_d- theta; % 网 络 预测 
¥{i) = yn 
end 


* 预测 值 递减 得 到 订单 需求 
for j= 36:-1:2 

ys{j} = (yc — ye(i~ 1))/10s 
end 


灰色 神经 网 络 网 络 训练 过 程 如 图 28 - 3 所 示 。 

从 图 28 -3 可 以 看 出 ,灰色 神经 网 络 收 全 速度 很 快 ,但 是 网 络 很 快 陷 人 局 部 最 优 , 劾 法 进 
一 步 修 正和 参数。 用 训练 好 的 灰色 神经 网 络 顶 测 冰 箱 订单 ,预测 结果 如 图 28 -4 所 示 。 

灰色 神经 网 络 预 测 的 平均 误差 为 7. 20%,BP 神经 网 络 预 测 的 平均 误差 为 10. 74%, 说 明 
灰色 神经 比较 适用 十 小 样本 预测 问题 。 
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28.4 业 例 扩展 


大 色 神 经 网 络 由 于 权 值 阅 值 随机 初始 化 ,网 络 进化 时 容易 陷 人 局 部 直 优 .并 入 每 次 预测 的 
结果 都 不 相 阿 。 采 用 遗传 算法 优化 灰色 神经 网 络 ,算法 中 路 问 第 3 章 类 似 , 用 遗传 算法 优化 
加 4 的 :61 吧 6 个 参数 ,遗传 算 法 个 体 采用 实数 编码 ,把 个 体 对 应 灰色 神经 网 络 韦 四 
作为 个 体 适应 度 值 。 种 群 规模 为 30. 和 迭代 次 数 为 100 次 ,遗传 算 法 最 优 个 体 适应 度 值 随 达 


次 数 的 变化 如 图 28 -5 所 不 。 


诞 世 好 让 全 化 过 和 


1 20 30 40 60 70 80 


80 
选 代 过 种 
图 28-5 遗传 算法 优化 过 程 


遗传 算法 优化 得 到 的 最 住 初 始 参数 侦 如 才 28 -1 所 列 。 
表 28 -1 最 佳 初 始 参数 


EC 


参数 名 称 人 和 国 by 


人 数值 | 06701 | 0.3131 | 0.3912 1 0.5491 | 0.5717 


0.3175 


把 最 佳 初始 参数 赋 耶 其 色 神经 网 络 ,网 络 经 训练 后 的 预测 订单 结果 如 图 28 6 所 示 。 
GA 优化 灰色 神经 网 络 预 测 平均 误 美 为 5. 99%, 相 比 术 优化 的 灰色 神经 网 络 预测 平均 误 


差 ?.2% ,遗传 算法 优化 取得 了 比较 好 的 效 虹 。 
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29.1 染 例 营 暴 


29. 1.1 Kohonen 网 络 


Kohonen 网 络 蚌 自 组 织 之 争 碟 神经 网 绕 的 种 ,该 网 络 为 尤 监 督学 习 网 络 ,能 够 识别 环 
境 特 征 并 自动 紧 类 。Kohonen 神经 网 络 是 芬 所 赫尔辛基 大 学 教授 Teuvo Kohonen 提出 的 .该 
网 络 通过 魏 组 织 特征 映射 调整 网 络 权 值 , 使 神经 网 络 收敛 于 一 种 表示 形态 。 在 这 一 形态 中 必 - 
个 神经 元 只 对 某 种 输入 异 式 特别 匹配 或 特别 敏感 。Kohonen 网 络 是 无 监督 的 自 组 织 
学 习 过 程 , 神 经 元 通过 碟 监 督 竞争 学 习 使 本 同 的 神经 邢 对 不 同 的 输入 模式 敏感 ,从 而 特定 的 神 
经 无 在 模式 识别 中 可 以 充当 基 一 输入 模式 的 检测 器 。 网 络 训练 后 神经 元 被 划分 为 不 同 区 域 ， 
各 区 域 对 输入 模型 具有 不 辣 的 响应 特征 。 

Kobonen 神经 网 络 结构 为 包含 输入 层 和 竞争 层 上 岩层 前 
入 层 ,输入 层 神 经 天 个 数 加 输入 样本 向 虽 维 数 一 敏 , 取 输 入 屋 季 点 数 为 m。 第 2 层 为 竞争 层 ， 
也 称 输出 层 . 亮 争 民 节点 旦 二 维 阵列 分 布 ,起 这 争 层 节 点 。 输 入 节点 和 输出 节点 之 间 以 
可 变 权 值 全 连接 ,连接 权 值 为 w,G 一 1.2,… i;j 二 1.2,…,n)。Kohonen 网 络 拓扑 结构 示意 
图 如 图 29 一 1 所 水 。 


饥 神 经 网 络 ,神经 网 络 第 1 层 为 输 


竞争 居 
【输出 层 ) 


图 29 -1 Kohonen 网 络 拓扑 结构 
Kohonen 神经 网 络 算法 工作 机 至 为 :网 络 学 习 过 程 中 , 当 们 本 输入 网 络 时 ,党 争 层 上 的 神 
经 无 计算 输入 样本 与 竞争 层 昼 经 元 权 值 之 间 的 欧 几 里 得 距离 ,距离 最 小 的 神经 元 为 获胜 神经 
死 。 测 站 获胜 神经 元 和 相 邻 神经 元 权 值 ,使 获得 神经 元 太 疝 边 权 值 笋 近 该 输入 样本 。 通 过 反 
复 训 练 ,最 终 各 神经 元 的 连接 权 值 上 只 有 一 定 的 分 布 , 该 分 布 把 数据 之 间 的 相似 性 组 织 到 代表 各 
类 的 神经 元 上 ,使 问 类 神经 元 其 有 相近 的 权 系 数 , 不 同类 的 神经 元 权 系 数 差 别 明显 。 希 要 注意 
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掌 习 的 过 程 中 , 反 值 修改 学 习 速 率 和 神经 元 领域 均 在 不 断 较 少 .从 而 使 间 类 神经 元 逐 
渐 集中 。Kohonen 网 络 训练 步 蛇 如 下 : 

步骤 1 :网 络 初始 化 。 初 始 化 网 络 权 值 w。 

步骤 2 :距离 计 算 。 计 算 输 入 向 量 半 = (zyzay…vzs) 与 竞争 层 神经 元 了 之 间 的 旺 离 ad, 


4 j= 2 (29 -1) 


峭 枝 3: 神 经 抑 选 择 。 把 与 输入 向 量 % 距离 如 小 的 竞争 层 神经 元 e 作为 最 优 匹 配 答 讨 神 


经 元 。 
睛 又 4; 权 俏 调 整 。 调 整 节点 c 和 在 其 领域 N. (0 内 包含 的 节点 权 系 数 , 即 
ND = 人 find(norm(poss ,pos) Lr) 了 一 1 2 {29 -2) 
oo ws + OX; — 《29 3) 


式 中 ,pos. ,pos, 分 别 为 神经 元 c 和 4 的 位 置 ;norm 计算 两 神经 元 之 问 欧 几 里 得 距离 ;r 为 领域 
半径 秆 为 学 习 速率 。r'9 一般 随 进化 次 数 的 增加 市 线性 下 降 。 

步骤 5: 判 断 算 法 疙 何 结 束 , 若 没有 结束 ,返回 步骤 2。 
29.1.2 网 络 入 侵 

本 案例 采用 Kohonen 网 络 对 网 络 人 侵 行 为 进行 聚 类 分 析 , 网 络 入 侵 定 义 及 相关 理论 内 容 
见 第 25 意 。 


29.2 模型 建立 
基于 Kohonen 网 络 的 网 络 人 侵 攻 市 聚 类 算法 流程 如 图 29 . 2 所 示 。 
和 
数据 上 一 化 | 络 培 始 化 上-| 优胜 权重 油 下 Cr 分 类 结 打 


图 29-2 算法 流程 

数据 归 一 化 是 指 把 网 络 入 侵 数 据 进行 归 一 化 处 理 。 

网 络 初始 化 根据 人 侵 数 据 特点 初始 化 网 络 , 由 寺 网 络 入 侵 数 据 证 38 维 , 入侵 数 据 来 自 于 
5 种 不 同类 型 的 网 络 入 侵 模式 ,所 以 输入 层 节 点 数 为 38。 竞 争 层 节 输入 数据 潜在 的 分 
类 类 别 ,竞争 居 闻 点 数 - 般 大 大 多 十 数据 实际 类 别 , 选 迭 竞 争 层 节 点 数 为 36 个 ,竞争 层 节 点 排 
到 在 一 个 6 行 6 记 的 方 阵 中 。 

按 公式 (29 - 1 计算 和 输入 样本 最 接近 的 竞争 层 节点 作为 该 样 木 的 优胜 节点 。 

仅 值 调 吏 根据 公式 (29 - 2? 调 整 优胜 节点 领域 半径 内 节点 权 值 ,其 中 领域 半径 和 学 习 速 
率 随 着 进化 过 程 逐 渐变 小 ,这 样 输入 数据 逐渐 向 几 个 节点 集中 ,从 而 使 网 络 实现 各 类 功能 .本 
案例 中 最 大 领域 rlmax 为 1.5, 最 小 领域 rlmin 为 0.4, 最 大 学 习 概 率 ratelmax 为 0. 1, 最 小 
学 习 慨 率 ratelmin 为 0.01。 网 络 共 学 习 调整 10 000 次 。 
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29.3 编程 实现 


根据 Kohonen 网 络 原理 ,在 MATLAB 软件 中 编程 实现 基于 Kohonen 网 络 的 网 络 入 侵 分 
类 算法 。 


29.3.1 网 络 初始 化 


下 载 人 侵 数 据 , 人 侵 数据 和 人 侵 类 别 都 存储 在 netattack. mat 文件 中 ,其 中 入侵 数据 在 
1 到 38 列 ,人 侵 类 别 在 第 39 列 。 根 据 和 信 侵 数 据 维 数 初始 化 Kobonen 网 络 。 


和 清空 环境 变量 
clc 


clear 
和 数据 下 载 
load netattack 


input = netattackt ; ,1:38)3 


*# 交 一 化 处 理 


[inputn, inputps] = mapninmax( input); 


i 关 室 市 放 输 注 牙医 并 这 济 


[nn,mm] = size inputn); 


可 
现 
赁 
各 和 输入 记 节 点 数 
线 Tnum = mnt 
交 
流 
卡 # 资 争 层 节点 数 
问 Me 6; 
Eq = 6 
当 K= MeN # 竞争 层 节点 数 
加 
wm 
+ 确定 竞争 层 节 点 位 置 
论 k=1s 
和 for i= 1 
作 for j=1;N 
去 jdpx(X,:) = [i 习 ， 名 每 个 节点 位 置 
流 k=k+1y 
一 end 
end 
270 
学 习 速 率 


ratelmax = 0.13 


ratelmin= 0.01 


名 领域 半径 


基于 Kohonen 网 络 的 聚 类 民法 


"sss ffxiinn 


rlmax = 23 


rlnin= 0.6; 


名 权 值 初始 化 


wi = rand( Inom.K); 


29.3.2 网 络 学 习 进 化 


从 数据 中 随机 挑选 一 组 数据 输入 网 络 . 授 过 计算 输入 数据 和 节点 权 值 下 离 找 出 优 肚 和 节点。， 


调整 优 竹 节点 及 其 领域 内 


外 网络 学 习 次 数 
maxgen = 20000; 


连接 权 值 。 


名 网 络 氨 代 学 习 


for i= 1:naxgen 


计算 学 习 速 率 和 领域 半径 


ratel = ratelmax - i/maxgen * (ratelmax ~ ratelnmin):; 


r= rlnax- i/naxgen# (rlnax— rlmin) 


在 随 机 抽取 组 输入 数据 
k= vnidrnd(4500); 
x inputn(k. :): 


入 找 出 优胜 节点 


Emindist, index] = min(dist(x.w1)): 


名 找 出 优胜 节点 领域 内 
dl = ceil(index/6); 

d2 = mod( index.6): 
nodeindex = find(distt[d1 d2], jdpx ?<<r): 


$$ 权 值 更 新 
for j=1:K 


if sun(nodeindex == j) 


wD) nl + ratel sy (xs 


end 
end 


end 


29.3.3 数据 分 类 


将 所 有 人 人 数据 依次 输入 训练 好 的 Kohonen 网 络 下 ,计算 簿 组 数据 与 党 第 凤 


让 其 划分 旬 与 其 起 接近 的 节点 代表 类 别 中 
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久 率 类 结 洒 

TIndex = [J; 

for i=1:4000 
[mindist,index] = min(dist(inputn(i,:) ,nw1)); 
Index = [Index, index]; 


end 


29.3.4 结果 分 析 


netattack. mat 里 面 基 有 4 000 组 数据 ,其 中 第 1 组 到 1383 给 数据 属于 第 ! 类 网 络 人 侵 方 
式 ,第 1384 组 到 3238 组 属于 第 2 类 网 络 人 侵 方 式 ,第 3 239 组 到 3 357 组 属于 第 3 类 入 侵 方 
式 ,第 3358 组 全 3 948 组 属于 第 4 类 人 仅 方 式 , 第 3 949 组 到 4 000 组 属于 第 5 类 人 侵 方 式 。 
通过 计算 得 到 各 类 入 侵 数 据 的 优胜 节点 ,如 表 29 - 1 所 列 。 
竞争 层 优胜 节点 分 布 如 图 29 -3 所 庆 。 其 中 ,加 代表 第 1 类 入侵 数据 所 局 节点 ,外 代表 第 
2 类 人 侵 数 据 所 属 节 点 ,@ 代 表 第 3 类 人 侵 数 据 所 属 节 点 .四 代表 第 4 类 入侵 数据 所 居 节 点， 
回 代表 第 5 类 人 侵 数据 所 属 节 : I 表示 节点 不 属于 任何 类 。 从 图 29 -3 可 以 看 出 ,不 同 
类 别 的 优胜 节点 基本 按 鼎 分 布 ,分 类 算法 上 得 了 良好 的 效果 。 
OOOOO 表 29-1 优胜 节点 序号 
QO © OO © OO OO 类 到 节点 序 共 
第 1 类 1,6 
OOOOOOO | 
QOOOOO 第 3 类 Tl 
OOOOOO 第 4 类 3~4.9~11115 


QOOOOO 


图 29-3 优胜 节点 分 布 


第 5 类 12 


29.4 时 例 扩 展 


29.4.1 有 上 监督 Kohonen 网 络 原 理 


上 述 内 容 表 明 Kohonen 网 络 可 以 对 本 知 类 别 数据 进行 无 监督 分 类 ,但 是 分 类 结果 中 同一 
类 别 数据 对 应 不 同 的 网 络 节 点 ,如 内 按照 -个 节点 对 应 一 类 来 说 ,Kohonen 网 络 分 类 的 类 别 
比 实际 数据 类 别 要 多 。Kohonen 网 络 可 以 通过 在 竞争 层 后 增加 输出 居 变 为 有 监督 学 习 的 网 
络 (S_Kohonen 网 络 ),S Kohoncn 网 络 同 Koboncn 网 络 相 比 ,增加 一 局 输出 民 ; 输 出 民 节 点 
个 数 回 数 据 类 别 相同 ,每 个 节点 代表 一 类 数据 。 输 出 居 凶 点 和 竞争 民 节 点 通过 权 值 全 相连 , 数 
据 输入 S_Kohonen 网 络 ,在 权 值 调 整 时 ,不 仪 调 鉴 输入 层 同 竞争 层 优 此 节点 领域 内 节点 权 值 ， 
回 时 调整 竞争 层 优 胜 节点 领域 内 节点 同 输出 层 季 点 权 值 ,调整 公式 为 式 (29 - 3)。 


wr ww) {29 -4) 

式 中 , 贡 为 学 习 概率 ;wr 为 亮 争 殿 和 输出 层 权 值 ;Y, 为 样本 所 属 类 草 。 

S_Kohonen 网 络 训练 过 程 同 Kohonen 网 络 训练 类 似 ,不 同 的 是 在 调整 输入 层 同 竞争 层 获 
胜 节 点 权 值 的 同时 按 公 式 (29 -抽调 整 亮 争 层 锋 胜 节点 问 输出 层 季 点 之 问 的 权 值 。 

网 络 训练 完 后 可 对 末 知 样本 进行 分 类 ,分 类 时 首先 计算 同 术 知 样本 最 过 的 竞争 凤 节 点 作 
为 优胜 节点 ,与 获胜 革 点 连接 权 值 最 大 的 输出 层 季 点 代表 类 别 为 赤 知 样本 类 别 。 

对 于 本 案例 来 说 , 山 于 数据 米 源 于 5 种 类 型 的 人 侵 数 据 ,所 以 网 络 结构 为 38 -36 -5, 输 入 
层 和 竞争 层 的 权 值 ws 随机 初始 化 ,竞争 层 和 输出 层 的 权 值 wx 初始 为 0。 取 4 500 组 网 络 攻 市 
数据 ,从 中 随机 抽取 4 000 组 数据 训练 网 络 ,500 组 数据 测试 网 络 分 类 能 万 ,MATLAEB 程序 
如 下 。 


29.4.2 网 络 初始 化 


训练 数据 和 预测 数据 存储 在 data. mat 文件 中 ,其 中 datatrain 为 训练 数据 ,datatest 为 预 
浏 数据 ,datatrain 中 第 1 麟 到 第 38 列 为 网 络 入 侵 数 据 ,第 39 询 为 人 侵 类 别 , 根 据 和 人 侵 类 别 得 
到 和 人 侵 数据 对 应 输出 ,初始 化 S_Kobonen 网 络 结 构 太 权 值 。 


名 清空 环境 变量 

cjc 

clear 

随机 选择 训练 数据 和 测试 数据 
load data 

input = datatrain( : ,1:38); 
attackkind = datatrain( : ,39); 


c= randperm( 4500); 
input_train= inputtc(1:4000),:); 
output_train = output(c(1:4000)，:) 3 


[nn,mm] = sizel inputn); 
[bc] = sort(rand(1 ,nn))s 


输出 计算 
for i=1:nmn 
Switch attackkind( i) 
casel 


outputli,:) = [20000]; 


case 2 
output(i,;)=[01000]; 
case 3 
output(i,:) = E00100]; 
case 4 


output(i,:) = [00010], 
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case5 
output(i, 


end 


end 


# 网 络 结构 初始 化 


=63 
N= 6 
K=Mx Ns Kohonen 层 
g=53 包 输 出 层 季 点 


Kohonen 层 节 点 排序 


| k=1; 
车 for i= 1:M 
对 for j=1:8 
此 jdpx(k,:) = [i,ji]s 
志 kek+li 
容 nd 
碍 end 
何 | 
六 |! # 学 习 速率 
可 | ratelmax= 0.1; 
以 ratelnin= 0.01; 
赁 
在 rate2nax = 1; 
线 rate2nin= 0.5; 
by 
主 s 节点 领域 

| lmax= 1.5s 

rimin= 0.4; 
29.4.3 网 络 训练 


YLY 漆 隐 十 


目 


用 训练 数据 训练 S_Kohonen 网 络 ,网 络 经 记 


sg 夺 代 次 数 
maxgen = 10000; 


for 1= 1:maxgen 


学 习 速率 ,领域 半径 自 适应 调整 


学 习 后 具有 末 知 样本 分 类 能 力 。 


ratel = ratelmax ~ i/maxgen * (ratelnax - ratelmin); 


rate2 = rate2nin + i/maxgen * (rate2max — rate2min); 


r= rlmax- i/naxgen (rlnax — rimin); 


名 随 机 抽取 训练 数据 
k= unidrod(4000); 
x= input_train(k, 1) 
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Y= output_train(k.:): 
计算 获胜 节点 


[mindist ,index] = min(distCx,w1)); 


# 领域 计算 

dl = ceil(index/6); 

d2 = modt index ,6)3 

nodeindex = find(qist([dl d2], jdpx) < = 7); 


多 权 值 请 整 
for j= 1:1ength(nodeindex) 
wi(: ,nodeindex(j)) =w1(: ,nodeindex(j)) + ratel # (x'— wl1{:.nodeindex( 3))):; 


Ww2(nodeindex(1),:) = wa(nodeindex(j) ,1) + rate2 * (y ~ w2(nodeindex(j},:)); 车 

end i 对 

end | 交 

息 

29.4.4 未 知 样本 分 类 车 
任 

用 训练 好 的 S_Kohonen 网 络 分 类 未 知 样本 。 亿 

for i=1:500 加 


x = inputn_ test(i,:): 
# 获胜 节点 
[mindist, index] = mintdist(x,w1)); 


名 样本 所 属 类 别 
[ab] = max(w2( ingex, :)); | 
outputfore(i) = bs 


end 


29.4.5 结果 分 析 


用 训练 好 的 S_Kohenen 网 络 分 类 测试 样本 数据 ,分 类 数据 共有 500 组 ,分 类 结果 如 |! 
图 29 -4 所 示 。 | 

从 预测 结果 可 以 看 出 : 绝 大 部 分 测试 数据 网 络 分 类 类 别 同 期 昏 类 判 敏 .500 组 测试 数据 
分 类 止 确 的 有 492 组 .让 确 率 为 98.4 听 。 
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第 30 章 神经 网 络 GUI 的 实现 
一 一 基于 GUI 的 神经 网 络 拟 合 、 模 式 识别 . 聚 类 


30.1 案例 将 晤 


以 上 案例 部 是 利用 命令 行 的 形式 来 调用 神经 网 络 阔 数 ,市 对 于 出 开始 接触 神经 网 络 和 
MATLAB 的 用 户 来 潮 , 则 需要 花费 一 些 时 间 来 学 习 如 何 调用 神经 网 络 隐 数理 解 两 数 果 参数 
的 意义 。 为 了 方便 使 用 MATLAB 编程 的 新 几 户 ,快速 地 利用 神经 网 络 解决 实际 问题 .MAT- 
LAB 提供 了 一 个 基于 神经 网 络 工具 箱 的 图 彤 用 户 扯 面 。 所 谓 图 形 用 户 界 而 (GUI,Graphical 
User Interfaces), 指 的 是 由 窗 11 .光标 ,按键 、 菜 单 .文字 说 明 等 对 象 构成 的 一 个 用 户 界面 。 用 
户 吕 以 通过 一 定 的 方法 (如 限 标 或 者 键盘 ) 选 择 、 激 活 这 些 图 形 对 象 实现 某 种 特定 的 功能 ,如 
计算 ,绘图 等 。 这 种 简单 , 易 用 的 交互 功能 能 够 极 大 地 提高 工作 效率 。 

专 处 到 图 形 用 户 界 而 带 来 的 方便 和 神经 网 络 在 数据 拟 合 .模式 识别 、 清 类 各 个 领域 的 应 
用 ,MATLAB R2009a 提供 了 3 种 神经 网 络 拟 合 [上 共 箱 ,下 徊 将 逐 -- 介 绍 。 


30.2 模型 建立 


30.2.1 和 神经 网 络 拟 合 工具 箱 的 图 形 界 面 


神经 网 络 在 所 数 和 逼 近 利 数据 拟 合 方面 得 到 广泛 应 用 ,该 GUI 界面 可 以 实现 神经 网 络 的 数 
据 拟 合 功 能 。 
打开 神经 网 络 拟 合 . 工 其 箱 赂 彤 界面 的 命令 为 ， 


nftool 


执行 后 将 弹出 如 图 30 -1 所 示 的 对 活 要 界面 。 

从 对 话 亿 可知 ,神经 网 络 拟 合 工具 箱 可 用 米 收 集 、 建 立 和 训练 网 络 , 并 及 利用 均 方 误差 和 
问 归 分 析 米 评价 网 络 的 效果 。 该 二 其 第 采用 一 个 两 层 前 向 型 神经 网 络 拟 合 所 数 ,隐藏 层 神经 
元 使 用 的 是 Sigmoid 机 数 ,输出 神经 元 使 用 线性 神经 元 ,如 果 给 定 足够 的 隐藏 层 神经 元 ,网 络 
就 可 实现 多 维 数据 的 拟 合 问 题 。 

氢 合 工具 箱 的 训练 算法 使 用 了 Levenberg Marguardt 算法, 基 trainlm, 单 击 [Nextj 按 
钮 ,会 出 现 导 人 数据 的 对 话 杠 , 如 图 30 -2 所 示 。 

从 MATLAB 的 workspace 内 可 以 导入 数据 ,数据 分 为 输入 数据 和 日 怀 数 据 。 要 注意 的 
是 ,输入 数据 导入 后 ,数据 的 大 小 会 目 动 地 归 一 化 到 [一 1,1] 之 间 。 单 御 CNextj 按 钮 ,可 以 看 
到 选 起 验证 数据 和 测试 数据 的 对 证 框 , 如 图 30 - 3 所 让 。 

整个 数据 集 分 为 训练 集 .验证 集 和 测试 集 。 其 中 ,训练 集 是 几米 训练 神经 网 络 的 样本 ,日 


ce MATLAbBS 神 经 交 络 30 个 妾 出 分 六 
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的 是 为 了 让 网 络 对 训练 样本 的 特征 进行 学 当 。 验 证 集 辕 样 是 用 来 网络 训练 的 .但 是 它 的 日 的 
是 为 了 确认 在 训练 过 程 中 .网 络 的 泛 化 能 力 是 不 是 在 不 断 提 一 旦 发 现 经 过 训练 后 ,网 络 的 
证 化 能 方 没有 提高 , 则 停止 训 练 。 测 试 焦 则 与 训练 集 无 关 , 只 是 为 了 测试 已 经 训练 好 的 网 络 
性 能 。 
ER 
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图 30-3 选取 验证 数据 和 测试 数据 
对 活 要 的 左边 有 下 个 选项 ,是 对 于 总 的 数据 集 米 讲 ,训练 集 ,确认 集 和 测试 集 二 个 部 分 庙 
的 比例 。 从 上 征 下 训 缂 集 点 的 比例 在 图 中 为 ?0 交 , 确 认 集 占 的 比例 在 图 中 为 155, 调 让 集 占 
的 比例 在 图 中 为 15 六 。 单 击 -Nexh] 按 钾 出 现 如 网 30 -4 所 炙 的 对 话 柜 。 
小 担 示 :训练 集 \ 验 证 集 和 测试 集 , 这 三 个 名 词 在 机 器 学 习 领域 的 文章 中 极其 常见 ,但 很 多 
人 对 他 们 的 概念 并 不 是 特别 清楚 .尤其 是 后 两 个 经 常 被 人 混用 。Neural Networks 中 给 出 了 
这 三 个 词 的 定义 。 


Training set: A set of examples used for learning, which is to fit the pararnelers Ti. e. ， 


weights | of the classificr, 
Validation set: A set of cxamples used to tune the paramerers “i. €., architecture, not 
weightss of a classifier, for example to choose the number of hidden units in a neural network, 


Tes 


: A Sef of examples used only to assess the performance [generalization | of a 


fully specified classificr. 

显然 ,4raining set 是 用 来 训练 模型 或 确定 模型 参数 的 ,如 ANN 中 权 值 等 ; validation set 
是 闭 求 做 模型 选择 Cmodel selection}, 即 做 模型 的 最 终 优 化 及 确定 的 ,如 入 NN 的 结构 ;而 test 
set 则 纯粹 是 为 了 测试 已 经 训练 好 的 模型 的 推广 能 力 。 当 然 ,test sect 并 不 能 保证 模型 的 正确 
性 , 它 只 是 说 相似 的 数据 用 此 模型 会 得 出 相似 的 结果 。 但 应 用 中 ,一 般 只 将 数据 集 分 成 两 
类 . 即 training sct 和 test set, 大 多 数 文章 并 不 涉及 validation xet。 

该 对 活 柜 能 设 宪 神经 网 络 的 隐 践 皮 神 经 无 个 数 。 由 本 使 用 了 三 屋 的 前 向 型 神经 网 络 ,所 
以 输入 和 输出 数据 确定 后 ,可 以 调整 的 共有 隐藏 层 的 神经 元 数 日 ,在 图 30 -4 中 ,隐藏 屋 神经 
阅 络 的 数 日 设 半 为 20。 如 果 在 测试 过 程 中 发 现 拟 合 效 果 不 好 .可 以 问 到 这 个 对 话 框 来 重新 济 
移 抱 铸 层 的 神经 元 数 日 。 接 下 来 是 一 个 网 络 训练 的 对 话 框 ,如 图 30 -5 所 未 。 


第 3n 章 神 经 网 阁 GLUT 的 实现 基于 (i0I 的 神经 网络 拟 合 、 模 式 识别 、 肾 类 ATene 


Www iLoveMotiab.cn 


说 放 验 轩 区 芽 症 院 北 


何 


LY 和 赴 训 党 车 从 沪 


ATuae MATLAB 神经 网 络 30 个 案例 分 析 加 


- 林 凑 辣 密 二 轴 互 此 中 寺 济 讲 


LY 内 济 启 办 徊 洲 小 这 流 问 局 


Www iLoveMatiab.cn 


二 


Ourpur Layer 
Output 


lo oo | 


SE ae en rule Text ty corn 


han he mb ot es 


图 30-4 
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图 30-5 网 络 训练 


图 30-5 是 网 络 训练 的 过 程 ,在 网 络 训练 结束 后 * 可 以 使 用 对 话 恰 布 侧 的 Plot fit Plot 
regression 按 钮 画 出 拟 合 的 效果 图 。 此 处 需 费 注意 的 是 , 当 网 络 的 确认 集 的 误差 均 方 开始 增加 
时 ,也 就 是 说 当 网 络 泛 化 效果 停止 提高 时 ,网 络 训练 会 自动 停止 。 央 为 所 选取 的 初始 条 件 和 样 
本 的 不 同 ,不 同 的 训练 将 叶 数 训练 的 结果 不 尽 相同。 训练 完成 后 . 单 击 LNextj 按 钮 ,会 出 岗 一 
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个 修正 训练 的 神经 网 络 的 对 话 枢 ,如 图 30 .6 所 具 。 当 网 络 氢 合 效果 不 好 时 ,还 可 以 重新 训 
练 。 如 泉 想 调整 网 络 结构 ,也 可 以 增加 神经 苑 。 如 果 沉 得 之 前 训练 的 数据 没有 代表 性 ,也 可 以 
增加 训练 数据 
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图 30-6 网 络 修正 
如 果 对 网 络 的 拟 合 效果 满意 的 话 , 单 击 [Next 按钮 ,出 现 最 后 的 保存 数据 和 网 络 的 对 话 
框 :如 网 30-7 所 示 。 
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图 30-7 保存 数据 和 网 络 
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这 个 对 话 要 允许 存 悄 输入 .输出 、 
保存 坟 后 ;如果 有 新 的 需要 所 全 的 数据 ,5 


30.2.2 和 神经 网 络 模式 识别 工具 箱 的 图 形 界面 
打下 神经 网 络 模 式 识 划 工 具 箱 团 形 界面 的 命令 为 


和 网 络 结构 等 与 训练 相关 的 数据 。 将 训练 好 的 网 络 
可 以 通过 调用 保存 的 网 络 在 接 进行 拟 合 了 。 


nprtool 
执行 后 将 会 由 出 如 图 30 -8 所 未 的 对 话 低 。 
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图 3-8 模式 识别 工具 箱 介绍 文字 

神经 网 络 解 决 模 式 识 别 癌 题 时 .往往 是 遂 庆 一 种 网 络 米 对 岂 有 分 类 的 日 标 数 据 进 行 
基本、 训练。 最 后 将 训练 好 的 网 络 用 十 分 类 的 过 程 。 

从 对 话 框 可 知 , 神 经 网 络 模式 识 乔 工 其 箱 将 三 助 用 来 收集 ,建立 和 训练 网 络 , 并 下 利用 均 

误差 和 混淆 年 阵 来 评价 网 络 的 效果 。 用 来 进行 模式 识别 的 是 -个 两 层 的 前 向 型 神经 网 络 ， 
神经 泡 和 输 计 神经 元 使 用 的 者 是 Sigmoid 晒 数 。 模 式 谋 别 .| 其 箱 的 训练 使 用 了 时 化 连接 梯 
练 国 数 , 即 trainseg 算法 , 单 下 Next | 按 饥 ,会 出 现 针 人 数据 的 对 话 椒 。 该 对 话 框 中 可 以 出 现 
和 拟 合 工 基 箱 相 问 的 导数 据 . 确 认 和 测试 数据 界 南 、 选 择 网 络 结构 .请 参考 疼 39 -2 一 网 30 -4。 
选择 网 络 结 构 后 . 单 市 [Next] 按 乌 进 入网 络 训 练 界 疝 , 如 几 30 -9 所 水 。 

此 处 是 训练 网 络 的 过 程 .在 网 络 训练 结束 后 ,可 以 使 用 对 活 相 有 侧 的 Plor Confusion/Plot 
ROC 按钮 查 在 分 类 的 效果 。 此 多 常委 是 ， 当 网 络 的 验 方 开始 增 肯 时 ,也 
就 泊 网 络 泛 化 效果 停止 提高 时 ,网 络 训 练 会 自动 倍 止 。 办 为 所 选 取 的 初始 条 件 和 样本 的 
不 同 ,不 回 的 训练 将 导致 训练 的 结果 不 尽 相 同 。 

Confusion Matrix 叫做 混淆 证 陈 或 者 匹配 饶 阵 ,证 :种 展示 分 类 效果 好 十 的 和 矩阵。 混 清 
策 阵 把 所 有 浪 确 和 错误 的 分 类 信息 郁 归 到 一 个 表 里 。ROC 曲线 是 反映 敏感 性 和 和 特 并 性 连续 
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图 30-9 模式 识别 网 络 训练 
变 呈 的 综合 指标 。ROC 曲线 真 阳性 率 为 级 坐标 . 假 阳 性 率 为 横 坐 标 ,在 坐标 上 出 无数 个 临界 
值 求 出 的 万 数 对 真 阳 性 案 和 假 阳性 案 作 图 坎 成 ,计算 ROC 出线 下 而 积 AUC 来 评价 分 类 
单 市 [NexC 接 钮 .进入 网 络 修正 、 保 存 数据 和 网 络 界 而 .加 图 30-6 与 图 30 -7。 
30.2.3 和 神经 网 络 聚 类 工具 着 的 图 形 界 面 
打开 神经 网 络 此 类 工具 箱 图 形 界面 的 命令 为 ， 
mctool 


执行 后 将 会 跑 出 如 图 30 - 10 所 天 的 对 话 框 。 
聚 类 问题 往往 是 起 建立 一 种 网 络 对 一 组 数据 按照 相似 性 分 组 。 


由 工具 箱 算 库 可 知 ,神经 网 络 取 类 | 共 箱 将 还 助攻 来 收集 ,建立 和 训练 网 络 , 并 几 利 用 亲 : 


视 化 工具 来 评价 网 络 的 效果 。 

MATLAB 使 用 自 组 织 特征 映射 网 络 (SOM, Sqlf - Organizing Map) 进 行 数据 的 聚 类 。 
SOM 网 络 包 括 一 个 可 以 将 维 数 的 数据 分 成 若干 类 的 竞争 层 。 在 竞 第 屋 中 .神经 此 按照 二 
维 拓扑 结构 排列 .这 就 使 竞争 层 神经 元 能 够 代表 与 样本 分 布 相似 的 分 布 。 

SOM 神经 网 络 使 用 了 SOM bateh 的 算法 .使 用 的 是 trainubwb 和 learnsomb 是 数 。 

单 直 ENext] 按 饥 , 进 入 数据 导入 鼻 而 .如 图 30 11 所 下。 

紧 类 工具 箱 只 需要 提供 要 尝 类 的 数据 输入 印 可 , 山 于 SOM 网 络 是 无 导师 ,万 鉴 督 的 分 类 
网 络 ,这 里 不 需 上 输入 月 标 条 出 。 单 击 [Next] 按 钮 进入 网 络 结构 选择 界面 ,如 图 30 - 12 所 水 。 

寄 要 填写 交 第 慑 相关 参数 .如 图 30 .12 己 经 填写 为 10, 说 明 竞 争 屋 中 有 10X10 个 神经 
无 。 单 刷 [Nextj 按 钮 ,会 出 现 如 图 30- 13 所 示 的 对 活 杠 。 
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图 30-11 聚 类 工具 箱 的 数据 导入 界面 
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图 如 -12 网 络 结构 选择 界面 
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图 30-13 聚 类 工具 箱 网 络 训练 界面 
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此 处 是 网 络 训练 过 程 .在 网 络 训练 结束 后, 可 以 使 用 对 话 非 右 侧 的 Plot SOM Neighbor 
DistaneeyPlot SOM Weight Planes/Plor SOM Sample Hits/Plor SOM Weight Positions 按钮 
作 看 娟 类 的 效果 。 窗 要 注意 的 是 , 网 络 的 训练 次 数 达 到 设 定 的 训练 次 数 时 ,网 络 训 练 会 自动 
舍 止 。 内 为 所 选取 的 初始 条 件 和 样本 前 不同 ,不 同 的 训练 将 导 敏 训练 结 昌 不 祥 相 同 。bPlot 
SOM Neighbor Distance/Plot SOM Weight PlanesyPlot SOM Sample HitsyPlot SOM Weight 
Positions 按 锂 功能 参考 第 17 章 的 有 关 说 明 。 单 击 [ ex 按钮 ,进入 网 络 禾 正 、 保 在 数 据 和 网 
络 界 而 ,如 图 30 -6 与 图 30 -7 所 示 ,此 处 不 占 殉 述 ， 
在 将 训练 好 的 SOM 网 络 保存 后 ,可 以 使 用 simt) 靖 数 对 其 他 数据 进行 媒 类 。 


30.3 业 例 扩展 


利 几 图 形 几 户 界 向 可 以 快速 地 实现 神经 网 络 的 扎 全 ,模式 识别 、 诊 类 等 功能 。 遂 过 这 种 简 
站 、 切 用 的 安 下 功能 能 够 极 大 地 提高 二 作 效率 。 
党 GUI 浴 免 了 代码 的 编写 过 程 .并 及 可 以 在 县 后 的 田光 里 后 成 相应 的 MATLAB 代码 。 但 
内 是 站 果 你 是 “个 新 于 ,建议 不 要 不 烘 恶 理论 闻 基 就 使 用 GUI 来 解决 实际 问题 .内 为 GUI 中 的 


条 一 些 功 能 只 有 在 菜 握 本 其 箱 的 大 部 分 汝 数 后 才 可 以 本 确 运 用 。 因 此 ,最 好 的 方式 是 首 
任 


条 先 利用 编写 代码 的 方式 米 学 习 神 经 网 络 开具 箱 ,精通 了 各 种 函数 的 实际 意义 .调用 格式 和 
加 | 刺 项 以 后 ,就 可 以 利用 GUI 方便 快捷 地 解决 实际 门 题 了。 
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